Traduction du communiqué de presse de la coalition Reclaim Your Face.

Le 8 décembre 2023, les législateurs de l’Union européenne se sont félicités d’être parvenus à un accord sur la proposition de règlement tant attendue relative l’intelligence artificielle (« règlement IA »). Les principaux parlementaires avaient alors assuré à leurs collègues qu’ils avaient réussi à inscrire de solides protections aux droits humains dans le texte, notamment en excluant la surveillance biométrique de masse (SBM).

Pourtant, malgré les annonces des décideurs européens faites alors, le règlement IA n’interdira pas la grande majorité des pratiques dangereuses liées à la surveillance biométrique de masse. Au contraire, elle définit, pour la première fois dans l’UE, des conditions d’utilisation licites de ces systèmes. Les eurodéputés  et les ministres des États membres de l’UE se prononceront sur l’acceptation de l’accord final au printemps 2024.

L’UE entre dans l’histoire – pour de mauvaises raisons

La coalition Reclaim Your Face soutient depuis longtemps que les pratiques des SBM sont sujettes aux erreurs et risquées de par leur conception, et qu’elles n’ont pas leur place dans une société démocratique. La police et les autorités publiques disposent déjà d’un grand nombre de données sur chacun d’entre nous ; elles n’ont pas besoin de pouvoir nous identifier et nous profiler en permanence, en objectifiant nos visages et nos corps sur simple pression d’un bouton.

Pourtant, malgré une position de négociation forte de la part du Parlement européen qui demandait l’interdiction de la plupart des pratiques de SBM, très peu de choses avaient survécu aux négociations du règlement relatif à l’IA. Sous la pression des représentants des forces de l’ordre, le Parlement a été contraint d’accepter des limitations particulièrement faibles autour des pratiques intrusives en matière de SBM.

L’une des rares garanties en la matière ayant apparemment survécu aux négociations – une restriction sur l’utilisation de la reconnaissance faciale a posteriori [par opposition à l’utilisation en temps réel] – a depuis été vidée de sa substance lors de discussions ultérieures dites « techniques » qui se sont tenues ces dernière ssemaines.

Malgré les promesses des représentants espagnols en charge des négociations, qui juraient que rien de substantiel ne changerait après le 8 décembre, cette édulcoration des protections contre la reconnaissance faciale a posteriori  est une nouvelle déception dans notre lutte contre la société de surveillance.

Quel est le contenu de l’accord ?

D’après ce que nous avons pu voir du texte final, le règlement IA est une occasion manquée de protéger les libertés publiques. Nos droits de participer à une manifestation, d’accéder à des soins de santé reproductive ou même de nous asseoir sur un banc pourraient ainsi être menacés par une surveillance biométrique omniprésente de l’espace public. Les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives.

Nous sommes également déçus de voir qu’en matière de « reconnaissance des émotions » et les pratiques de catégorisation biométrique, seuls des cas d’utilisation très limités sont interdits dans le texte final, avec d’énormes lacunes.

Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la vérité – bien que ces systèmes ne reposent sur aucune base scientifique crédible. Si elle est adoptée sous cette forme, le règlement IA légitimera une pratique qui, tout au long de l’histoire, a partie liée à l’eugénisme.

Le texte final prévoit également d’autoriser la police à classer les personnes filmées par les caméras de vidéosurveillance en fonction de leur couleur de peau. Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles discriminations comme acceptables.

Une seule chose positive était ressorti des travaux techniques menés à la suite des négociations finales du mois de décembre : l’accord entendait limiter la reconnaissance faciale publique a posteriori aux cas ayant trait à la poursuite de crimes transfrontaliers graves. Bien que la campagne « Reclaim Your Face » ait réclamé des règles encore plus strictes en la matière, cela constituait un progrès significatif par rapport à la situation actuelle, caractérisée par un recours massif à ces pratiques par les États membres de l’UE.

Il s’agissait d’une victoire pour le Parlement européen, dans un contexte où tant de largesses sont concédées à la surveillance biométrique. Or, les négociations menées ces derniers jours, sous la pression des gouvernements des États membres, ont conduit le Parlement à accepter de supprimer cette limitation aux crimes transfrontaliers graves tout en affaiblissant les garanties qui subsistent. Désormais, un vague lien avec la « menace » d’un crime pourrait suffire à justifier l’utilisation de la reconnaissance faciale rétrospective dans les espaces publics.

Il semblerait que ce soit la France qui ait mené l’offensive visant à faire passer au rouleau compresseur notre droit à être protégés contre les abus de nos données biométriques. À l’approche des Jeux olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche.

En vertu du règlement IA, nous serons donc tous coupables par défaut et mis sous surveillance algorithmique, l’UE ayant accordé un blanc-seing à la surveillance biométrique de masse. Les pays de l’UE auront ainsi carte blanche pour renforcer la surveillance de nos visages et de nos corps, ce qui créera un précédent mondial à faire froid dans le dos.

Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.

Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :

• RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.).
• PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
• PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
• M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
• Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales/

Des technologies dangereuses, sans encadrement ni évaluation

Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligences artificielle.

Corrélation n’est pas causalité

Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.

Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.

S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.

Des variables potentiellement discriminatoires

Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.

En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.

De fausses croyances criminologiques

Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.

Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».

Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.

Un risque d’auto-renforcement

La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).

En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».

La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.

De possibles abus de pouvoir

Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.

Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.

Des outils à l’efficacité douteuse

Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.

De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre¹. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.

Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.

De graves lacunes dans la gestion des données

Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 2020². Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.

Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.

Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées³. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »⁴.

Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.

Il est urgent d’interdire la police prédictive

L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…

Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.

Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.

Nous aider

Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.

Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.

Lire le rapport complet

---

1. Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ︎
2. Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ︎
3. Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ︎
4. Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ︎

Société de contrôle (1) : les outils illégaux de la surveillance municipale

Notre campagne Technopolice a déjà quatre ans, et les acteurs de l’industrie française de la surveillance sont bien identifiés. Lobby industriel, député porte-cause, discours sécuritaire dicté par la police, on connaît le paysage. Voici venu le temps de s’intéresser plus en détail aux entreprises privées qui fleurissent dans le sillage de ce marché économique considérable, où les fonds publics abondent sans discussion pour mieux nous surveiller.

Cette semaine, penchons-nous sur le cas de la société Edicia, basée à Nantes. Elle s’engraisse en fournissant à de nombreuses polices municipales françaises une « solution » baptisée Smart Police, logiciel embarqué sur terminal mobile qui permet aux agents de prendre des notes, de rédiger des rapports, et à leur supérieur resté au commissariat de mieux les manager. Nous avons obtenu le manuel d’utilisation de Smart Police, grâce auquel nous pouvons avoir une idée précise de ce que les agents municipaux peuvent faire, et des conséquences pratiques de ces nouvelles facilités opérationnelles. Une lecture édifiante : l’outil, dans sa grande variété et sa grande souplesse, permet des pratiques contraires au cadre réglementaire qui régit les polices municipales.

Fichage sans autorisation, croisement de données, photographies des personnes contrôlées : là où l’idéologie sécuritaire voit du bon sens, nous voyons des usages clairement illégaux et une victoire de facto de la surveillance systématisée. Pour en savoir plus, lisez l’article, qui s’inscrit dans une enquête sur les outils numériques de la « police prédictive » et sera suivi par d’autres publications.

Lire l’article : https://www.laquadrature.net/2024/01/10/smart-police-dedicia-le-logiciel-a-tout-faire-des-polices-municipales/

Société de contrôle (2) : la CAF défend son programme de chasse aux pauvres

Notre enquête sur les algorithmes de contrôle social n’en est encore qu’à son début, mais elle a déjà produit quelques effets : après notre analyse de son algorithme de notation des allocataires, la Caisse nationale d’allocations familiales (CNAF) est bien obligée de se justifier publiquement au sujet de ses pratiques discriminatoires.

La réponse du directeur de la CNAF, entre déni et diversion, relève de la communication de crise. Mais les faits que nous constatons dans l’analyse de l’algorithme lui-même restent irréfutables. Et derrière l’autosatisfaction de l’institution, saluée aussi par les députés de la majorité présidentielle pour son efficacité dans la chasse aux pauvres, on voit un jeu de dupes : loin d’une rentabilité réelle, et à rebours de la « fraternité » républicaine de la société avec ses membres les plus précaires, le contrôle systématique par algorithme sert l’idéologie d’une efficacité gestionnaire où le recours aux outils numériques habille de modernité des choix politiques et sociaux inégalitaires. Analyse du discours de la CNAF et réponse point par point dans notre article !

Lire l’article : https://www.laquadrature.net/2024/01/11/notation-des-allocataires-face-aux-faits-la-caf-senferme-dans-le-deni-et-la-mauvaise-foi/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

• 13 janvier 2024 : atelier sur Internet, l’anonymat et la Technopolice, en collaboration avec la Compagnie RYBN.org – 14h-20h, à La Compagnie, 19 rue Francis de Pressensé, Marseille. Détails  : https://www.la-compagnie.org/portfolio/rybncapitalismsxit/.
• 19 janvier 2024 : Quadrapéro parisien à partir de 19h dans nos locaux au 115 rue de Ménilmontant, 75020 Paris.
• 25 janvier 2024 : soirée sur la vidéosurveillance algorithmique organisée par le groupe ATTAC Nord Ouest à 19h30 à la Maison des associations du 18e, 15 Passage Ramey, 75018 Paris.
• 27 janvier 2024 : La Quadrature sera aux 3e Assises de l’Attention, pour parler de démocratie à l’heure du numérique – 9h-18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.

La Quadrature dans les médias

À écouter

• Conférence de La Quadrature au Chaos Communication Congress (#37C3), en anglais : « A year of surveillance in France: a short satirical tale by La Quadrature du Net »

Algorithmes administratifs

• « L’algorithme de la CAF conduit à un surcontrôle des populations les plus précaires » [Alternatives économiques]
• EELV en croisade contre la « pauvrophobie d’Etat » [L’Internaute]
• Rendre accessibles les algorithmes, un vœu pieux ? [La gazette des communes]
• RSA, APL, AAH, prime d’activité… Que risque-t-on lorsqu’on fraude les aides de la CAF ? [Merci pour l’info]
• Le grand méchant score social qui cache la forêt [Numerama]

IA de surveillance

• Philippe Latombe, député macroniste et VRP de la surveillance [StreetPress]
• En prévision des JO, la SNCF a testé plus d’une dizaine d’algorithmes de vidéosurveillance [Mediapart]
• Paris 2024, le retour des JO dans un pays libre? Oui mais… [Le Temps]
• Vidéosurveillance à Moirans : La Quadrature du net déboutée par le Conseil d’État mais l’affaire n’est pas terminée [Le Dauphiné libéré]
• Comment des drones et l’IA vont bientôt contrôler le trafic routier de cette mégalopole asiatique [Ouest-France]
• AI is powering a revolution in policing, at the Olympics and beyond [The Washington Post]
• Nizza: le telecamere di sorveglianza sfruttano l’AI [La Svolta]

Interopérabilité

• Quatre choses à savoir sur le «fédivers» dont parle Threads, le nouveau réseau social de Meta [Libération]
• Meta : c’est quoi le Fédivers, la prochaine conquête de Mark Zuckerberg ? [Phonandroid]

Fichage

• « SISPoPP », le nouveau fichier qui fâche [Mediapart]
• SISPoPP : tout savoir sur le nouveau fichier des tribunaux qui inquiète tant [Comment ça marche]

Données personnelles

• Les étranges excuses d’Amazon pour échapper à son amende record [01Net]
• Amazon attacks EU privacy watchdog it claims was out to get it [Bloomberg]

Divers

• Le Fisc pourra davantage traquer les fraudeurs sur les réseaux sociaux [01Net]
• Les services secrets américains pourront tranquillement nous espionner jusqu’en avril 2024 [01Net]

Retrouvez l’ensemble de nos travaux sur l’utilisation par les administrations sociales d’algorithmes de notation sur notre page dédiée et notre Gitlab.

« Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la CAF — dans un « Message au sujet des algorithmes » à destination des 30 000 agent·es de la CAF¹Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Nous le republions ici. Voir aussi ce thread Twitter.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); — a réagi à notre publication du code source de l’algorithme de notation des allocataires.

Et pourtant, devant la montée de la contestation²Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); — s’étendant au sein des CAF elles-même car seul·es les dirigeant·es et une poignée de statisticien·nes avaient connaissance de la formule de l’algorithme –, il était possible d’espérer, a minima, une remise en question de la part de ses dirigeant·es.

Mais à l’évidence des faits, les dirigeant·es de la CAF ont préféré le déni. Cette fuite en avant a un coût car un élément de langage, quelque soit le nombre de fois où il est répété, ne se substituera jamais aux faits. À vouloir nier la réalité, c’est leur propre crédibilité, et partant celle de leur institution, que les dirigeant·es de la CAF mettent en danger.

Un problème sémantique

À peine quelques heures après la publication de notre article — et alors qu’il était possible pour chacun·e de vérifier que la valeur du score de suspicion alloué par l’algorithme augmente avec le fait d’être en situation de handicap tout en travaillant, d’avoir de faibles revenus, de bénéficier des minima sociaux ou encore d’être privé·e d’emploi — le directeur de la CAF affirmait publiquement que son algorithme n’était « pas discriminatoire ».

Devant une telle dénégation, on se demande comment le directeur de la CAF définit une politique « discriminatoire ». Voici en tout cas celle donnée par le Wiktionnaire : « Traitement défavorable de certains groupes humains via la réduction arbitraire de leurs droits et contraire au principe de l’égalité en droit. » Rappelons en outre, au cas où subsisterait un doute, qu’un contrôle est en soi un moment extrêmement difficile à vivre³Voir les témoignages récoltés par Changer de Cap ou le Défenseur des Droits et les écrits de Vincent Dubois.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Dans le même message, il ajoutait que l’algorithme n’est pas utilisé pour « surveiller les allocataires » ou « les suspecter », mais simplement pour les « classer ». Rappelons que les deux ne sont pas contradictoires mais complémentaires. La surveillance de masse — que ce soit dans la rue, sur internet ou à la CAF — est un préalable au tri de la population.

S’agissant enfin de savoir si l’utilisation de cet algorithme a vocation à « suspecter » les allocataires ou non, rappelons que, de l’aveu d’un autre directeur de la CAF, les « techniques de datamining » sont « des outils de lutte contre les fraudeurs et les escrocs »⁴Voir DNLF info n°23, juin 2014. Disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. On soulignera aussi la contradiction entre le discours tenu aujourd’hui par le directeur de la CAF, qui veut minimiser la réalité, et celui qu’il tenait auparavant, puisqu’au micro de France Info⁵France Info, 09/12/2022. « La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » ». Disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_5').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); en 2022 il expliquait que le refus de nous communiquer le code source de l’algorithme était justifié par le fait que la CAF doit garder « un coup d’avance » face à celles et ceux « dont le but est de frauder le système ».

Ou mathématique ?

À ces problèmes sémantiques s’ajoutent un désaccord mathématique. Le directeur de la CAF avance que l’objectif de l’algorithme serait de « détecter rapidement » des indus afin « d’éviter des remboursements postérieurs trop importants ». Ce raisonnement est un non-sens technique visant à faire croire aux personnes ciblées par l’algorithme que ce dernier… les servirait.

L’algorithme a seulement été développé pour détecter des situations présentant des indus supérieurs à un certain montant⁶Plus précisément, le journal Le Monde a montré qu’il était entraîné pour maximiser à la fois la détection d’indus « importants », soit supérieurs à 600 euros par mois et d’une durée de plus de 6 mois, et les situations de fraudes. Voir les documents mis en ligne par Le Monde ici. Nous avions d’ailleurs fait une erreur dans notre article précédent : à la lecture des quelques documents que nous avions — la CAF avait refusé de nous communiquer le manuel technique alors qu’elle l’a donné au journal Le Monde — nous avions compris, sur la base de ce document que l’algorithme était entraîné pour détecter des indus totaux supérieurs à 600 euros, et non des indus mensuels supérieurs à 600 euros.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_6').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Il est entraîné sur la base de dossiers choisis aléatoirement puis analysés par les contrôleur·ses de la CAF sur une période de deux ans, soit la durée de prescription des indus⁷Sur la durée de recherche des indus pour l’entraînement des modèles, voir ce courrier envoyé par la CAF à la CADA suite à notre demande de communication du code source de l’algorithme. Sur la durée de prescription, voir l’article L553-1 du CSS : elle est de deux ans pour les indus et de cinq ans en cas de fraude.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_7').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

En d’autres termes, l’algorithme a pour seul objectif de maximiser les montants d’indus récupérables sans aucune considération pour une soi-disant détection précoce qui viserait à prévenir leur accumulation. Ainsi, présenter l’algorithme comme un outil au service de celles et ceux qui en subissent les conséquences est foncièrement trompeur.

Nier jusqu’à l’opacité

« Notre fonctionnement n’est pas opaque » ajoutait finalement le directeur de la CAF dans cette même lettre. Sachant l’énergie que nous avons dû déployer pour obtenir le moindre document relatif à la politique de contrôle de la CAF, il fallait oser.

Concernant l’algorithme lui-même, rappelons que nous avons dû batailler pendant plusieurs mois pour réussir à avoir accès au code de ce dernier. La CAF, dans des courriers que nous rendons publics avec cet article, s’est systématiquement opposée à leur publication. Elle ne les a communiqués qu’après avoir été contredite par la Commission d’accès aux documents administratifs (CADA).

Pire, la CAF refuse systématiquement de transmettre la moindre information quant au fonctionnement de son algorithme aux allocataires faisant l’objet d’un contrôle. On pourra citer le cas d’une allocataire ayant subi un contrôle datamining que nous avons aidée à rédiger plusieurs courriers⁸Les demandes ont été envoyées au titre du droit d’accès aux documents administratifs prévu par le code des relations entre le public et l’administration, ainsi qu’au titre du droit d’accès aux données personnelles prévu par le RGPD. Suite au refus de la CAF, une saisine de la CADA a été faite et une plainte auprès de la CNIL a été déposée. La CAF se refuse toujours à communiquer la moindre information.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_8').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Pendant plus de 3 ans, cette personne a multiplié les recours juridiques pour comprendre les raisons de son contrôle : saisine CADA, courrier au défenseur des droits, plainte à la CNIL… Toutes ces démarches sont restées lettres mortes.

Enfin, la CAF ne nous a toujours pas communiqué le registre complet de ses activités de traitement⁹Prévu par l’article 30 du RGPD.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_9').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); ni l’étude d’impact de l’algorithme de notation. Nous avons dû, encore une fois, saisir la CADA pour tenter d’avancer.

Lutter contre les erreurs ?

Il existe cependant une chose sur laquelle tout le monde est d’accord : si les indus se concentrent sur les plus précaires c’est parce que les aides qui leur sont versées, en particulier les minima sociaux, sont encadrées par des règles complexes qui génèrent incompréhensions et erreurs involontaires.

Le directeur de la CAF dit ainsi que si « les allocataires les plus pauvres » sont « surreprésentés parmi les risques d’erreurs » c’est en grande partie parce qu’ils reçoivent « des aides plus complexes ». Il ajoute même que la « complexité déclarative » et l’« instabilité des droits […] sape la confiance » des allocataires¹⁰Message publié dans Résonances, le magasine interne à destination des plus de 30 000 agent·es de la CAF. Voir aussi ce ce thread twitter.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_10').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. On complètera en rappelant que la complexité des règles d’accès aux minima sociaux est elle-même le fruit de politiques autoritaires de « lutte contre l’assistanat »¹¹Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_11').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); et que de nombreuses erreurs sont par ailleurs le fait de la CAF elle-même¹²Voir notamment cet article de La Croix.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_12').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Partant de ce constat, comment comprendre le traitement répressif réservé à celles et ceux dont tout le monde s’accorde à dire qu’elles sont victimes d’un dysfonctionnement administratif et politique ? Pourquoi choisir de déployer des moyens numériques colossaux — interconnexion de fichiers, droit de communication, sanctions pénales… — visant à réprimer celles et ceux qui ne font que subir une situation ? Comment expliquer que les dirigeant·es de la CAF encouragent une telle politique de la double peine ciblant celles et ceux qu’ils et elles sont censé·es servir ?

Ou en profiter?

Disons-le tout de suite : l’enjeu n’est pas financier. L’algorithme de datamining permet de récupérer à peine 200 millions d’euros par an sur un total d’environ 100 milliards de prestations versées par la CAF. Soit 0,2% du montant des prestations sociales. En admettant qu’aucun système ne puisse être parfait, ce montant semble dérisoire.

L’enjeu est politique. Ou plutôt d’image. Car depuis sa généralisation en 2011, l’algorithme est instrumentalisé par les dirigeant·es la CAF comme un faire-valoir de leur capacité de gestion de l’institution¹³Sur l’évolution des politiques de contrôle à la CAF voir Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ».<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_13').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_13', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. L’année de son introduction, la CAF écrira que « pour sa première année, le data mining a permis une évolution importante des rendements et résultats financiers […] »¹⁴Voir le rapport annuel de lutte contre la fraude 2012 disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_14').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_14', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Devant l’Assemblée nationale, un directeur de la CAF se félicitera que le « datamining […] fait la preuve d’une efficacité croissante » améliorant le « taux d’impact » des contrôles¹⁵Audition de Vincent Mauzauric à l’Assemblée nationale en 2020 disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_15').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_15', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Un autre écrira que l’algorithme est devenu un outil central de la « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs »¹⁶Voir DNLF info n°23, juin 2014. Disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_16').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_16', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Efficacité, rendement, modernité : voici les maîtres-mots utilisés par les dirigeant·es de la CAF pour asseoir une politique de communication construite autour de pratiques numériques de harcèlement des plus précaires dont ils et elles récoltent les bénéfices à travers la valorisation de leur savoir-faire gestionnaire. « Vous êtes souvent cités comme le “bon élève” ou “le chef de file” [en termes de politique de contrôle] » déclarera une députée à une directrice « Maîtrise des risques » de la CAF¹⁷Auditions réalisées par Madame Goulet et Madame Grandjean dans le cadre du rapport « Lutter contre les fraudes aux prestations sociales ». Les auditions sont disponibles ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_17').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_17', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); tandis que la cour des comptes louera l’amélioration de « l’efficicience de l’emploi des ressources affectées à la détection d’irrégularités » opérée grâce à l’algorithme¹⁸Cour des comptes. Rapport la lutte contre les fraudes aux prestations sociales. 2020. Disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_18').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_18', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Mis en miroir des témoignages révélant la violence de ces contrôles et des procédures de récupération d’indus, ce type de discours laisse sans voix. Comment se souvenir qu’il provient pourtant de celles et ceux en charge de l’assistance aux plus démuni·es ?

Lutter

Voilà donc la réalité politique de l’algorithme de notation de la CAF et ce pourquoi il est si compliqué pour les dirigeant·es de la CAF de l’abandonner. Cela leur demanderait d’accepter de renoncer à ce qu’il leur rapporte : soit le rendement de la misère.

Avant de conclure, nous tenons à dire à toutes et tous les employé·es de la CAF que nous savons votre engagement auprès de celles et ceux qui en ont besoin et que nous vous en remercions. Course au rendement, suivi de la moindre de vos activités, surveillance informatique, pertes de moyens humains, dépossession des outils de travail : les pratiques de contrôle numériques de la CAF et la dégradation de vos conditions de travail ont les mêmes racines. C’est pourquoi nous vous appelons à vous mobiliser à nos côtés.

Quant à nous, nous continuerons à nous mobiliser aux côtés de tous les collectifs qui luttent contre les pratiques de contrôles de la CAF, au premier rang desquels Stop Contrôles, Changer de Cap et Droits Sociaux¹⁹Vous pouvez les contacter à stop.controles@protonmail.com, acces.droitssociaux@gmail.com et contact@changerdecap.net.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22847_2_19').tooltip({ tip: '#footnote_plugin_tooltip_text_22847_2_19', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Nous appelons également à un questionnement plus large sur les pratiques des autres institutions sociales.

Pour nous aider, échanger, vous mobiliser, n’hésitez pas à nous écrire à algos@laquadrature.net. Notre clé publique est disponible ici.

<script type="text/javascript"> function footnote_expand_reference_container_22847_2() { jQuery('#footnote_references_container_22847_2').show(); jQuery('#footnote_reference_container_collapse_button_22847_2').text('−'); } function footnote_collapse_reference_container_22847_2() { jQuery('#footnote_references_container_22847_2').hide(); jQuery('#footnote_reference_container_collapse_button_22847_2').text('+'); } function footnote_expand_collapse_reference_container_22847_2() { if (jQuery('#footnote_references_container_22847_2').is(':hidden')) { footnote_expand_reference_container_22847_2(); } else { footnote_collapse_reference_container_22847_2(); } } function footnote_moveToReference_22847_2(p_str_TargetID) { footnote_expand_reference_container_22847_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_22847_2(p_str_TargetID) { footnote_expand_reference_container_22847_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Dans le cadre d’une enquête sur les technologies de police prédictive dont nous vous reparlerons très bientôt, La Quadrature s’est intéressée de près à Edicia. Cette startup est peu connue du grand public. Elle joue pourtant un rôle central puisqu’elle équipe des centaines de polices municipales à travers le pays. Son logiciel Smart Police, dont nous avons obtenu le manuel d’utilisation, permet de faire un peu tout et n’importe quoi. Loin de tout contrôle de la CNIL, Smart Police encourage notamment le fichage illégal, une pratique policière en vogue…

L’entreprise Edicia a été créée en 2013 et a son siège à Nantes. Cette année-là, Vincent Loubert, un ancien consultant de Cap Gemini, rachète, avec le soutien du fonds d’investissement Newfund, une société de logiciels du nom d’Access, lancée à l’origine par un policier à la retraite qui cherchait à développer une application simplifiant le travail des policiers. Sous l’égide d’Edicia, ce logiciel va prendre le nom de Smart Police.

En 2019, après une expansion rapide en France (Edicia prétend alors équiper près de 600 villes à travers le pays)¹, la startup s’internationalise en développant ses activités aux États-Unis, vendant notamment son logiciel à la police de Denver, dans le Colorado, où elle ouvre même une antenne avec une trentaine de salariés. En France, cette année-là, la startup emploie une quarantaine de personnes et réalise des bénéfices pour la première fois depuis son lancement. Loubert affirme alors avoir consacré près de 10 millions d’euros à la R&D.

Depuis, il est possible que l’entreprise ait connu quelques difficultés financières. Le site d’Edicia comme ses comptes sur les réseaux sociaux sont globalement inactifs. Elle semble également embaucher moins de salariés. Pour autant, son logiciel Smart Police continue d’être utilisé au quotidien par des milliers de policier municipaux à travers le pays.

Aperçu de Smart Police

À quoi sert Smart Police ? À un peu tout et n’importe quoi. Il permet aux agents de police d’utiliser leur téléphone ou tablette pour rédiger leurs rapports directement depuis le terrain, d’ajouter à une base de donnée des clichés photographiques, de rapporter des évènements ou encore d’établir des procès-verbaux (voir les captures d’écran du logiciel à la fin de cet article, ou explorer le manuel d’utilisation au format HTML²). Smart Police est aussi utilisé par les officiers pour suivre depuis leurs bureaux les équipes sur le terrain, cartographier les incidents, consulter leurs rapports et recevoir divers indicateurs statistiques en temps réel, de même que les photographies prises en intervention (par exemple lors d’une manifestation).

Les villes de Marseille, Nice, Élancourt, Antony, Le Pré-Saint-Gervais, Libourne, Chinon, Coignères, Maurepas, ou encore la communauté de communes Grand Paris Sud- Seine Essonne Sénart comptent parmi les clientes d’Edicia (avec en tout 350 villes clientes d’après les derniers chiffres fournis sur le site d’Edicia). Mais bien évidemment, en dehors des affirmations péremptoires des patrons d’Edicia ou de quelques édiles relayés dans la presse, aucune étude disponible ne permet de démontrer le prétendu surcroît d’efficacité policière induit par Smart Police. Par ailleurs, une demande CADA nous a appris qu’une ville comme Cannes avait été cliente d’Edicia, avant de décommissionner le logiciel sans qu’on sache exactement pourquoi. Il est possible qu’à l’image de certains logiciels utilisés aux États-Unis puis abandonnés, le rapport coût-efficacité ait été jugé trop faible.

Fichage en mode YOLO ?

L’une des composantes les plus importantes de Smart Police, dont le manuel d’utilisation nous a été communiqué via une demande CADA et est désormais disponible, réside dans son menu « Activités de terrain », que la plupart des agents de la police municipale utilisent quotidiennement. Il permet aux agents de créer de nouvelles « mains courantes », d’écrire et de référencer des rapports de police (procès-verbaux) documentant diverses infractions que les agents de la police municipale sont autorisés à constater. Lorsqu’ils créent ces fiches, les agents doivent fournir des informations générales, la localisation géographique de l’événement, le type d’infraction, l’identité et les coordonnées du suspect ou des témoins (qui peuvent être enregistrées facilement en scannant une carte d’identité), etc. En tant que telles, ces fiches de signalement peuvent être détournées pour des finalités qui dépassent les prérogatives de la police municipale – lesquelles sont limitées, notamment en matière de contrôle d’identité³ –, et devraient être soumises à un contrôle étroit.

Un autre module présente un risque encore plus important de fichage illégal : il s’agit du module « Demande administré », qui comme son nom l’indique, permet d’enregistrer les signalements faits par des administrés à la police municipale (bruit, dégradation, présence d’un animal dangereux, etc.). Là encore, l’interface rend possible l’ajout de données géolocalisées et de photographies.

Enfin, Smart Police comporte un module « Vigilance active », au sein duquel les agents peuvent rassembler des informations non officielles sur des événements passés ou futurs. Par exemple, si un agent de police a rapporté une rumeur entendue dans la rue ou repérée sur les réseaux sociaux (par exemple concernant un « rassemblement non autorisé », ainsi que l’illustre le manuel), une fiche peut être créée pour la consigner. Celle-ci peut très bien comporter toutes sortes de données dont le traitement par la police est, dans un tel cadre, totalement illégal (identité des personnes suspectées d’organiser ce rassemblement, des photographies extraites des réseaux sociaux, etc.). Ces fiches de renseignement peuvent ensuite être transformées en « missions » assignées aux agents depuis l’interface à disposition des managers, conduire à la création de nouvelles fiches « mains courantes », mais aussi alimenter le module « Analyse prédictive » si la ville cliente d’Edicia y a souscrit (nous y reviendrons dans un prochain article).

On le comprend au regard de ces descriptions, Smart Police comporte un risque important de voir consignées des données identifiantes, et donc là encore de conduire à des opérations de fichage illégal. Notamment, il ne semble pas respecter le cadre réglementaire s’agissant des traitements automatisés utilisés par les polices municipales pour gérer les mains courantes, puisque ce dernier exclut la prise de photographies⁴.

Loin de tout contrôle

Par deux fois, nous avons interrogé la CNIL via des demandes CADA pour savoir si elle s’était penchée sur l’utilisation de Smart Police en France. Par deux fois, la même réponse nous a été faite : en dehors de quelques formalités préalables réalisées par une demi-douzaine de communes avant l’entrée en vigueur du RGPD, nada (voir ici pour la dernière réponse en date). Nous avons bien mis la main sur l’attestation de conformité RGPD, délivrée à Edicia par le cabinet Olivier Iteanu et obtenue via une demande CADA à la ville de Libourne, ainsi qu’un document relatif à la politique de gestion des données d’Edicia, mais celles-ci n’offrent aucun élément réellement rassurant s’agissant du risque de voir Smart Police servir à des opérations de fichage illégal. Enfin, aucune des dizaines de demandes CADA envoyées aux mairies s’agissant d’Edicia n’a mis en évidence de contrôle réalisé par les personnes déléguées à la protection des données au sein des villes.

Nos inquiétudes à ce sujet sont évidemment renforcées par des révélations récentes. La presse locale s’est récemment faite l’écho de pratiques de policiers municipaux dans une commune de la région PACA consistant à échanger, sur des boucles WhatsApp privées et à partir de leurs smartphones personnels, des données sensibles relatives à des personnes : images extraites de la vidéosurveillance, photos des personnes contrôlées, plaques d’immatriculation, pièces d’identité, etc⁵. Des pratiques totalement illégales mais dont on peut supposer qu’elles sont monnaie courante, non seulement au sein des polices municipales mais aussi au sein de la police nationale.

Quant au dernier rapport de l’Inspection générale de la police nationale (IGPN)⁶, il note une hausse sensible des faits de détournements de fichiers (56 enquêtes, contre 38 en 2021 et 27 en 2020), une évolution qu’elle qualifie de « préoccupante » :

Ces faits sont de gravité très inégale selon qu’ils procèdent de la curiosité « malsaine » (passage aux fichiers d’une ex-compagne ou d’un nouveau compagnon, de membres de sa famille, d’une personne connue, d’un chef de service, sans argent versé ou contrepartie) ou du commerce des informations récoltées. Ces cas sont les plus sensibles, lorsque les informations confidentielles issues des fichiers de police sont remises à des tiers, avec ou sans but lucratif. Si la preuve de la consultation illégale est assez simple à rapporter par les enquêteurs, il en va différemment pour la preuve éventuelle d’une rétribution à titre de contrepartie.

Pour l’institution, « cette situation tient à la fois à la multiplication du nombre de fichiers de police et une meilleure accessibilité », notamment du fait d’un déploiement croissant des tablettes et smartphones Neo, lesquelles permettent un accès plus aisé aux fichiers de police pour les agents de la police nationale et de la gendarmerie nationale. L’IGPN estime que l’intelligence artificielle pourrait permettre de détecter plus aisément ces consultations illégales.

Et maintenant ?

Pour notre part, plutôt qu’un solutionnisme technologique abscons, la réponse tiendrait plutôt à une désescalade techno-sécuritaire, à savoir le fait de battre en brèche l’augmentation exponentielle du fichage de la population, le recul constant des garanties concrètes apportées aux droits fondamentaux (recul auquel le RGPD et les textes associés ont participé par de nombreux aspects). Au minimum, les contre-pouvoirs institutionnels, comme la CNIL, devraient faire leur travail, à savoir lutter contre les illégalismes policiers, plutôt que d’instaurer une impunité de fait par leur coupable laisser-faire.

De ce point de vue, un premier pas dans la bonne direction consisterait à procéder à un contrôle résolu des polices municipales clientes d’Edicia, en n’hésitant pas à prononcer de vraies sanctions contre les responsables hiérarchiques dès lors que des infractions seront constatées.

Pour soutenir notre travail, vous pouvez faire un don à La Quadrature du Net.

---

1. À noter : sur son site web, Edicia se targue également de compter parmi ses clients quelques services du ministère de l’Intérieur, mais nos demandes CADA envoyées au ministère sur ces collaborations sont restées infructueuses, le ministère prétendant qu’il n’existe aucun lien avec Edicia. ︎
2. Le manuel d’utilisation de Smart Police est disponible à l’adresse suivante : https://technopolice.fr/police-predictive/manuel-edicia/Edicia.html. ︎
3. Lorsqu’ils créent des procès-verbaux dans Edicia, les agents sont invités à choisir parmi une liste d’infractions présélectionnées et tirées d’une base de données nationale catégorisant tous les types d’infractions (la base de données NATINF). Rappelons que les types d’infractions que les agents de police municipale peuvent constater sont très limités. Ils peuvent par exemple sanctionner les propriétaires de chiens dangereux qui ne respectent pas la loi, inspecter visuellement et fouiller (avec l’autorisation du propriétaire) les sacs et bagages lors de manifestations publiques ou à l’entrée d’un bâtiment municipal, délivrer des amendes en cas d’incivilités telles que le dépôt d’ordures dans la nature, le tapage nocturne, le fait de laisser des animaux dangereux en liberté, et constater la plupart des infractions au code de la route commises sur le territoire communal dès lors qu’elles ne nécessitent pas d’enquête. Cependant, les agents de la police municipale disposent de pouvoirs beaucoup plus étendus que ne le laisse supposer le code pénal : arrestation en flagrant délit d’une personne ayant commis un crime ou un délit passible de prison pour l’amener au poste de police nationale ou de gendarmerie le plus proche, établissement de rapports et procès-verbaux concernant tout crime, délit ou contravention dont les agents municipaux seraient témoins, documents qui peuvent soit être directement transmis à la police nationale ou à la gendarmerie, soit au maire. Celui-ci, ayant qualité d’officier de police judiciaire, transmet alors l’information au procureur de la république. Bien que la loi ne les autorise pas à procéder à des contrôles d’identité, les agents de police municipaux peuvent collecter l’identité d’une personne, tant qu’ils ne demandent pas de produire une pièce attestant de celle-ci, et sont autorisés à demander une preuve d’identité dans le cas des quelques délits qui rentrent dans leurs prérogatives. Le logiciel d’Edicia semble donc offrir des fonctionnalités qui vont bien au-delà du cadre juridique. Voir « Mémento policiers municipaux et gardes champêtres ». Ministère de l’Intérieur, 10 novembre 2021. https://www.interieur.gouv.fr/content/download/129786/1033871/file/memento-polices-muni-gardes-champetres.pdf. ︎
4. Arrêté du 14 avril 2009 autorisant la mise en œuvre de traitements automatisés dans les communes ayant pour objet la recherche et la constatation des infractions pénales par leurs fonctionnaires et agents habilités, consulté le 9 décembre 2023, https://www.legifrance.gouv.fr/loda/id/JORFTEXT000020692173. ︎
5. Éric Galliano, « Saint-Laurent-du-Var : Les policiers municipaux ont constitué leurs propres fichiers de délinquants », Nice Matin, 20 novembre 2023, https://www.nicematin.com/justice/a-saint-laurent-du-var-les-policiers-municipaux-ont-constitue-leurs-propres-fichiers-de-delinquants-886441. ︎
6. Voir le rapport d’activité de l’Inspection générale de la Police nationale pour l’année 2022, disponible à l’adresse : https://www.interieur.gouv.fr/Publications/Rapports-de-l-IGPN/Rapport-annuel-d-activite-de-l-IGPN-2022 ︎ ︎