Algorithmes de suspicion de la CAF : la preuve par les faits
C’est une enquête qui a duré 18 mois. Dès avril 2022, conjointement avec le collectif Changer de Cap, nous demandions l’arrêt des pratiques discriminatoires de la Caisse d’allocations familiales (CAF), qui utilise un algorithme pour attribuer un « score de suspicion » aux bénéficiaires des aides sociales, pour détecter les personnes les plus susceptibles de percevoir des sommes indues. Sous prétexte de lutter contre la « fraude sociale » — une ambition très populaire dans l’idéologie de la chasse à « l’assistanat » — fraude réelle dont toutes les études au sein même des agences de l’État ont depuis longtemps démontré qu’elle est majoritairement une fraude aux cotisations de la part des employeurs notamment, il s’agit avec cet algorithme de débusquer plutôt les bénéficiaires qui, du fait de la complexité des règles relatives aux minima sociaux, auraient touché des sommes plus importantes que celles à quoi ils et elles auraient droit.
Le « bon sens » tel qu’il s’exprime sur les réseaux sociaux, et nous avons pu le constater à chaque publication de nos articles, ne trouve pas d’inconvénient à ce procédé : « Il faut bien attraper les fraudeurs ! Vous préférez ne rien faire ? ». On peut discuter le principe, mais ce n’est pas le sujet. Le problème, comme souvent, est dans la manière de faire.
En pratique, la CAF dispose d’environ 1 000 types de données différents sur les allocataires et en utilise une quarantaine pour passer au crible la vie d’environ 13 millions de personnes. Leur vie personnelle et intime, sous prétexte de leur donner ou non de l’argent public, devient l’objet d’une analyse et d’un jugement, de fond en comble. Le logiciel mouline cette masse d’informations avec son petit mécanisme et sort à la fin pour chaque bénéficiaire un « score de suspicion » compris entre 0 et 1. S’il se rapproche de 1, le risque de fraude est considéré comme étant plus grand, et la personne concernée fera l’objet d’un contrôle humain par des agents soumis à une pression de rentabilité. En pratique, la sanction algorithmique touche d’abord les personnes les plus pauvres, soit que l’allocation retirée ou réduite représente une partie importante de leurs revenus de survie, soit qu’elle en représente la totalité.
Plus grave encore : nous avions l’intuition, après l’étude de plusieurs cas particuliers, que les critères qui faisaient augmenter le score de suspicion incluaient le fait d’être d’origine étrangère, de toucher le RSA, ou d’être une femme seule qui élève des enfants. Pour en avoir le cœur net, nous avions demandé à la CAF, par l’intermédiaire d’une « demande Cada », de publier son algorithme de calcul. La CAF a refusé autant qu’elle a pu de fournir le code-source logiciel, sous prétexte que sa publication permettrait aux « fraudeurs » de le contourner — peut-être en arrêtant fourbement d’être une femme noire au RSA, par exemple ?
Mais, faute d’avoir accès à la version actuelle, nous avons enfin obtenu la communication d’une ancienne version de cet algorithme de « scoring », et notre analyse est sans appel : oui, l’algo de flicage de la CAF pénalise, dans sa structure même et dans le poids qu’il donne aux critères d’évaluation, les personnes à l’emploi précaire, qui doivent changer de logement souvent et, de manière générale, qui ont des parcours de vie compliqués. Autrement dit, les personnes les plus précaires se retrouvent traquées et sanctionnées par une administration sociale. Nous demandons par conséquent l’interdiction de cette technologie numérique de contrôle social, qui cache sous la prétendue neutralité de la technique une politique sociale discriminatoire, dégradante et injuste.
Comme bon nombre d’associations, nous avons lancé il y a quinze jours notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la promotion de l’interopérabilité des services Web, la lutte contre les algorithmes de contrôle social dans les administrations, la réflexion nécessaire autour du numérique dans le contexte de la crise écologique, et la défense du droit au chiffrement des communications.
Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !
2 décembre 2023 : le groupe Saccage 2024 appelle à une journée d’action contre les Jeux Olympiques de Paris 2024, notamment en raison des mesures de surveillance numérique prévues par la loi JO. Plus d’informations : https://saccage2024.noblogs.org/archives/2480.
8 décembre 2023 : Réunion d’information Technopolice à Rouen — à partir de 18h30, Maison des associations et la solidarité, 22 bis rue Dumont d’Urville, Rouen.
14 décembre 2023 : Causerie mensuelle du groupe Technopolice Marseille — à partir de 19h, Manifesten, 59 Rue Adolphe Thiers, Marseille.
14 décembre 2023 : Table ronde au festival OSINT à La Gaité Lyrique – à 11h, à La Gaité Lyrique, 259 rue Saint-Martin 75003 Paris. Plus d’informations sur https://www.gaite-lyrique.net/evenement/festival-osint
Après plus d’un an de mobilisation contre les pratiques de notation des allocataires de la CAF au côté des collectifs Stop Contrôles et Changer de Cap1Vous pouvez les contacter à stop.controles@protonmail.com et contact@changerdecap.net. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_1').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, et après avoir détaillé le fonctionnement de l’algorithme de la CAF et son cadre politique, nous publions aujourd’hui le code source de cet algorithme de notation. Nous vous invitons aussi à consulter ici notre page de présentation sur l’utilisation d’algorithmes similaires au sein d’autres administrations.
Les détails techniques de l’algorithme (code, liste de variables et leurs pondérations) et de la méthodologie employée pour la construction de profils-types sont présentés dans cette annexe méthodologique.
Petit à petit, la lumière se fait sur un système de surveillance de masse particulièrement pernicieux2La CAF n’est pas la seule administration à utiliser ce type d’algorithmes, mais elle fut la première à le faire. Nous reviendrons bientôt sur une vision plus globale de l’utilisation de ce type d’algorithmes par les administrations sociales dans leur ensemble. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_2').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); : l’utilisation par la CAF d’un algorithme de notation des allocataires visant à prédire quel·les allocataires seraient (in)dignes de confiance et doivent être contrôlé·es.
Pour rappel, cet algorithme, construit à partir de l’analyse des centaines de données que la CAF détient sur chaque allocataire3Si l’algorithme lui-même n’utilise que quelques dizaines de variables pour calculer la note des allocataires, celles-ci sont sélectionnées après une phase dite d’« entraînement » mobilisant plus de 1000 informations par allocataire. Pour des détails techniques voir l’article de Pierre Collinet « Le datamining dans les caf : une réalité, des perspectives », écrit en 2013 et disponible ici. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_3').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, assigne un « score de suspicion » à chaque allocataire. Ce score, mis à jour chaque premier du mois, est compris entre zéro et un. Plus il est proche de un, plus l’algorithme juge qu’un·e allocataire est suspect·e : un contrôle est déclenché lorsqu’il se rapproche de sa valeur maximale4Les contrôles à la CAF sont de trois types. Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle..), organisés via à l’interconnexion des fichiers administratifs (impôts, pôle emploi…). Ce sont de loin les plus nombreux. Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire. Enfin les contrôles sur place sont les moins nombreux mais les plus intrusifs. Réalisé par un.e contrôleur.se de la CAF, ils consistent en un contrôle approfondi de la situation de l’allocataire. Ce sont ces derniers qui sont aujourd’hui en très grande majorité déclenchés par l’algorithme suite à une dégradation de la note d’un allocataire (Voir Vincent Dubois, « Contrôler les assistés », p.258). <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_4').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Lever l’opacité pour mettre fin à la bataille médiatique
Nos critiques portent tant sur la nature de cette surveillance prédictive aux accents dystopiques que sur le fait que l’algorithme cible délibérément les plus précaires5Voir avant tout le livre de Vincent Dubois publié en 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir le chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_5').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Face à la montée de la contestation, les dirigeant·es de la CAF se sont réfugié·es derrière l’opacité entourant l’algorithme pour minimiser tant cet état de fait que leur responsabilité dans l’établissement d’une politique de contrôle délibérément discriminatoire. Un directeur de la CAF est allé jusqu’à avancer que « l’algorithme est neutre » et serait même « l’inverse d’une discrimination » puisque « nul ne peut expliquer pourquoi un dossier est ciblé »6Extrait de la réponse d’un directeur de la CAF aux critiques opposées par le Défenseur des Droits à l’utilisation de cet algorithme. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_6').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
C’est pourquoi nous avons bataillé de longs mois pour que la CAF nous donne accès au code source de l’algorithme, c’est à dire la « formule » utilisée par ses dirigeant·es pour noter les allocataires7La CAF nous avait initialement communiqué un code source « caviardé » dans lequel la quasi-totalité des noms de variables étaient masqués. Nous avons finalement obtenu le code de deux versions de l’algorithme. La première a été utilisée entre 2010 et 2014. La seconde entre 2014 et 2018. Six variables ont tout de même été occultées du modèle « 2010 » et 3 du modèle « 2014 ». <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_7').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Nous espérons que sa publication mette un terme à ces contre-vérités afin, qu’enfin, puisse s’installer un débat autour des dérives politiques ayant amené une institution sociale à recourir à de telles pratiques.
L’algorithme de la honte…
La lecture du code source des deux modèles utilisés entre 2010 et 2018 — la CAF a refusé de nous transmettre la version actuelle de son algorithme — confirme tout d’abord l’ampleur du système de surveillance de détection des allocataires « suspect·es » mis en place par la CAF.
Situation familiale, professionnelle, financière, lieu de résidence, type et montants des prestations reçues, fréquence des connexions à l’espace web, délai depuis le dernier déplacement à l’accueil, nombre de mails échangés, délai depuis le dernier contrôle, nombre et types de déclarations : la liste de la quarantaine de paramètres pris en compte par l’algorithme, disponible ici, révèle le degré d’intrusion de la surveillance à l’oeuvre.
Elle s’attache à la fois aux données déclarées par un·e allocataire, à celles liées à la gestion de son dossier et celles concernant ses interactions, au sens large, avec la CAF. Chaque paramètre est enfin analysé selon un historique dont la durée est variable. Visant tant les allocataires que leurs proches, elle porte sur les plus de 32 millions de personnes, dont 13 millions d’enfants, vivant dans un foyer bénéficiant d’une prestation de la CAF.
Quant à la question du ciblage des plus précaires, la publication du code source vient donner la preuve définitive du caractère discriminant des critères retenus. Ainsi, parmi les variables augmentant le « score de suspicion », on trouve notamment :
Le fait de disposer de revenus faibles,
Le fait d’être au chômage,
Le fait d’être allocataire du RSA,
Le fait d’habiter dans un quartier « défavorisé »8Concernant la variable liée au lieu de résidence, cette dernière fait a priori partie des variables masquées dans le code reçu. Elle est toute fois mentionnées dans la réponse de la CAF à la CADA, ce pourquoi il nous paraît raisonnable de l’inclure ici. Voir notre annexe méthodologique pour une discussion détaillée de la formule. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_8').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });,
Le fait de consacrer une partie importante de ses revenus à son loyer,
Le fait de ne pas avoir de travail ou de revenus stables.
Comble du cynisme, l’algorithme vise délibérément les personnes en situation de handicap : le fait de bénéficier de l’Allocation Adulte Handicapé (AAH) tout en travaillant est un des paramètres impactant le plus fortement, et à la hausse, le score d’un·e allocataire.
En un graphique
Bien entendu, ces facteurs sont corrélés et ne peuvent être considérés indépendamment les uns des autres. Il est ainsi probable qu’une personne aux faibles revenus ait connu des périodes de chômage ou bénéficie de minima sociaux etc…
Disposant tant des paramètres que de leurs pondérations, nous avons pu construire différents profils-types d’allocataires pour lesquels nous avons calculé les scores de suspicion9Pour ce faire, nous avons simulé les données nécessaires – une trentaine de variables – pour chaque « profil-type » puis utilisé l’algorithme pour calculer leur note. Mettre un lien vers nos simulations. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_9').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Entre les différents profils-types, nous avons seulement fait varier les paramètres liées à la situation professionnelle, aux revenus, aux prestations reçues, à la situation maritale ou de handicap.
Nous tenons à préciser que pour réaliser ces simulations, nous devons faire de nombreuses hypothèses dont il est parfois difficile de savoir si elles sont justes ou non. Ainsi, les scores simulés ci-dessous sont donnés à titre indicatif seulement. Nos résultats sont toutefois cohérents avec les analyses de Vincent Dubois basées sur des statistiques agrégées10Le sur-ciblage des personnes en situation de handicap – bénéficiaires de l’AAH – ne concerne que celles disposant d’un travail. C’est ainsi que ces résultats sont compatibles avec les analyses du chapitre 10 du livre Contrôler les assistés de Vincent Dubois qui regroupent l’ensemble des personnes en situation de handicap. Voir notre annexe méthodologique pour une discussion détaillée de ce point. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_10').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Dans un souci de transparence, nous détaillons leur construction — et ses limites — dans une annexe méthodologique11Voir notamment une méthodologie alternative utilisée par LightHouse Reports dans son article sur Rotterdam pour lequel les journalistes disposaient non seulement de la formule mais aussi de données sur les personnes visées. Elle est disponible ici. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_11').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Les profils-types correspondent tous à des foyers comprenant deux enfants à charge et sont censés correspondre à :
Une famille « aisée » aux revenus stables et élevés,
Une famille « modeste » dont les deux parents gagnent le SMIC,
Un parent isolé gagnant aussi le SMIC,
Une famille dont les deux parents sont bénéficiaires des minima sociaux,
Une famille dont un des parents est travailleur·se en situation de handicap : pour ce profil, nous simulons le score de la personne bénéficiant de l’AAH trimestrialisée.
Les résultats sont éclairants comme le montre le graphique ci-dessous. Les « scores de suspicion » des foyers les plus aisés sont bien plus faibles que ceux des foyers bénéficiant des minima sociaux ou de l’AAH trimestrialisée.
On observe également le ciblage des familles monoparentales, dont 80% sont des femmes12Voir la note de l’Insee disponible ici. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_12').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Nos simulations indiquent que ce ciblage se fait indirectement — la CAF ayant peut-être jugé que l’inclusion d’une variable « mère célibataire » était trop risquée politiquement — en intégrant des variables comme le revenu total du foyer et le nombre de mois en activité cumulés sur un an des responsables du foyer, dont la nature vient mécaniquement défavoriser les foyers ne comprenant pas deux parents13A revenus égaux, un parent seul gagne moins que deux parents. Quant au nombre de mois d’activité sur une année, il ne dépassera jamais 12 par an pour une famille monoparentale mais peut aller jusqu’à 24 pour un couple. Ce ciblage est particulièrement fort dans les mois qui suivent une séparation, ce type d’évènement dégradant fortement le score d’un·e allocataire. Voir nos analyses additionnelles en annexe méthodologique. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_13').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_13', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Effets de seuil, discriminations et double peine
Il y a quelques mois, la CAF cherchait à minimiser la stigmatisation des plus précaires engendrée par son algorithme en expliquant que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière »14C’est ce qu’elle a déjà fait dans son « Vrai/Faux » sur le datamining où elle expliquait que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière ». <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_14').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_14', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Nos analyses viennent démontrer à quel point ce raisonnement est fallacieux.
Ce que montre notre graphique c’est justement que les variables socio-économiques ont un poids prépondérant dans le calcul du score, désavantageant structurellement les personnes en situation de précarité. Ainsi, le risque d’être contrôlé suite à un événement considéré comme « facteur de risque » par l’algorithme – déménagement, séparation, décès – se révèle inexistant pour un allocataire aisé puisque son score est initialement proche de zéro. A l’inverse, pour un allocataire du RSA dont le score est déjà particulièrement élevé, le moindre de ces évènements risque de faire basculer son score au-delà du seuil à partir duquel un contrôle est déclenché.
Pire, la plupart des variables non financières sont en fait liées à des situations d’instabilité et d’écart à la norme – séparation récente, déménagements, changements de loyers multiples, modification répétée de l’activité professionnelle, perte de revenus, erreurs déclaratives, faible nombre de connexions web… – dont tout laisse à penser qu’elles sont elles-mêmes liées à des situations de précarité. A l’opposé de ce que veut faire croire la CAF, tout indique que cet algorithme fonctionne plutôt comme une « double peine » : il cible celles et et ceux qui, parmi les plus précaires, traversent une période particulièrement compliquée.
Clore le (faux) débat technique
La CAF ayant refusé de nous communiquer la version la plus récente de son algorithme, nous nous attendons à ce que ses dirigeant·es réagissent en avançant qu’iels disposent d’un nouveau modèle plus « équitable ». En anticipation, nous tenons à clarifier un point fondamental : il ne peut exister de modèle de l’algorithme qui ne cible pas les plus défavorisé·es, et plus largement celles et ceux qui s’écartent de la norme définie par ses concepteurs.
Comme nous l’expliquions ici de manière détaillée, si l’algorithme de la CAF a été promu au nom de la « lutte contre la fraude », il a en réalité été conçu pour détecter les « indus » (trop-perçus). Ce choix a été fait pour des questions de rentabilité : les indus sont plus nombreux et plus faciles à détecter que des cas de fraude dont la caractérisation nécessite, en théorie, de prouver une intention15Les témoignages collectés par Stop Contrôles ou Changer de Cap montrent que la nécessité de prouver l’intentionnalité pour qualifier un indu de fraude – dont les conséquences pour un•e allocataire sont plus lourdes – est très régulièrement bafouée. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_15').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_15', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Or, ces indus ont pour cause principale des erreurs déclaratives involontaires, dont toutes les études montrent qu’elles se concentrent principalement sur les personnes aux minima sociaux et de manière plus générale sur les allocataires en difficulté. Cette concentration s’explique d’abord par le fait que ces prestations sont encadrées par des règles complexes — fruit des politiques successives de « lutte contre l’assistanat » — multipliant le risque d’erreurs possibles. Pour reprendre les termes d’un directeur de la lutte contre la fraude de la CNAF : « ce sont les prestations sociales elles-mêmes qui génèrent le risque […] ceci est d’autant plus vrai pour les prestations liées à la précarité […], très tributaires de la situation familiale, financière et professionnelle des bénéficiaires. »16Voir Daniel Buchet. 2006. « Du contrôle des risques à la maitrise des risques ». Disponible ici. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_16').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_16', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Nul besoin donc de connaître le détail de la formule de l’algorithme pour prédire quelles populations seront ciblées car c’est l’objectif politique de l’algorithme — détecter les trop-perçus — qui le détermine. C’est pourquoi laisser s’installer un débat autour de l’inclusion de telle ou telle variable est un jeu de dupes statistiques. La CAF pourra toujours substituer à une variable jugée politiquement « sensible » d’autres critères jugés « acceptables » permettant d’aboutir au même résultat, comme elle semble déjà le faire pour les mères célibataires17Il serait ainsi relativement facile pour la CAF de supprimer la référence directe aux minima sociaux ou à l’AAH dans son algorithme en se limitant à l’utilisation de la variable « faits générateurs trimestriels ». Cette dernière ne concerne que les allocations nécessitant une déclaration de ressources trimestrielles : AAH trimestrielle, APL, RSA et prime d’activité. S’agissant du ciblage des allocataires du RSA et de l’AAH, la CAF pourrait ainsi prétendre, sans trop perdre de précision, avoir modifié son algorithme en ne retenant dans le calcul que cette variable « faits générateurs trimestriels » tout en continuant à cibler les personnes aux minima sociaux. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_17').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_17', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Logiques policières, logiques gestionnaires
Dire cela, c’est enfin dépasser le débat technique et reconnaître que cet algorithme n’est que le reflet de la diffusion de logiques gestionnaires et policières au sein de nos administrations sociales au nom des politiques de « lutte contre la fraude ».
C’est en transformant les allocataires en « assisté·es », puis en risques pour la survie de notre système social que le discours de « lutte contre l’assistanat » a fait de leur contrôle un impératif de « bonne gestion »18Voir avant tout le livre de Vincent Dubois publié en 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir le chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_22126_1_18').tooltip({ tip: '#footnote_plugin_tooltip_text_22126_1_18', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Qu’importe que toutes les estimations montrent que la « fraude sociale » est marginale et que c’est au contraire le non-recours aux aides qui se révèle être un phénomène massif.
Devenu objectif institutionnel, le contrôle doit être rationalisé. Le numérique devient alors l’outil privilégié de « la lutte contre la fraude sociale » par la capacité qu’il offre aux dirigeant·es de répondre aux injonctions de résultats tout en offrant un alibi technique quant aux pratiques de discrimination généralisée que leur tenue impose.
Ces logiques sont saillantes dans la réponse écrite par la CAF pour s’opposer à la transmission du code de son algorithme, avant d’y être contrainte par la Commission d’Accès aux Documents Administratifs (CADA). Elle assume ouvertement un discours policier en avançant comme principal argument que cette communication consisterait en une « atteinte à la sécurité publique » car « en identifiant les critères constituant des facteurs de ciblage, des fraudeurs pourraient organiser et monter des dossiers frauduleux ».
Enfin, un chiffre transmis dans la même réponse témoigne de l’emballement gestionnaire à l’œuvre et vient souligner la disproportion entre les moyens techniques déployés et les enjeux financiers. L’algorithme est entraîné pour détecter des trop-perçus s’élevant à 600 euros sur deux ans. Soit donc, 32 millions d’intimités violées par un algorithme à la recherche de… 25 euros par mois.
Lutter
L’Assurance maladie, l’Assurance vieillesse, les Mutualités Sociales Agricoles ou dans une moindre mesure Pôle Emploi : toutes utilisent ou développent des algorithmes en tout point similaires. À l’heure où ces pratiques de notation se généralisent, il apparaît nécessaire de penser une lutte à grande échelle.
C’est pourquoi nous avons décidé de faire de ces pratiques de contrôle algorithmique une priorité pour l’année à venir. Vous trouverez ici notre page dédiée à ce sujet, que nous alimenterons régulièrement.
La CAF n’est pas la seule administration à utiliser ce type d’algorithmes, mais elle fut la première à le faire. Nous reviendrons bientôt sur une vision plus globale de l’utilisation de ce type d’algorithmes par les administrations sociales dans leur ensemble.
Si l’algorithme lui-même n’utilise que quelques dizaines de variables pour calculer la note des allocataires, celles-ci sont sélectionnées après une phase dite d’« entraînement » mobilisant plus de 1000 informations par allocataire. Pour des détails techniques voir l’article de Pierre Collinet « Le datamining dans les caf : une réalité, des perspectives », écrit en 2013 et disponible ici.
Les contrôles à la CAF sont de trois types. Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle..), organisés via à l’interconnexion des fichiers administratifs (impôts, pôle emploi…). Ce sont de loin les plus nombreux. Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire. Enfin les contrôles sur place sont les moins nombreux mais les plus intrusifs. Réalisé par un.e contrôleur.se de la CAF, ils consistent en un contrôle approfondi de la situation de l’allocataire. Ce sont ces derniers qui sont aujourd’hui en très grande majorité déclenchés par l’algorithme suite à une dégradation de la note d’un allocataire (Voir Vincent Dubois, « Contrôler les assistés », p.258).
Voir avant tout le livre de Vincent Dubois publié en 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir le chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.
La CAF nous avait initialement communiqué un code source « caviardé » dans lequel la quasi-totalité des noms de variables étaient masqués. Nous avons finalement obtenu le code de deux versions de l’algorithme. La première a été utilisée entre 2010 et 2014. La seconde entre 2014 et 2018. Six variables ont tout de même été occultées du modèle « 2010 » et 3 du modèle « 2014 ».
Concernant la variable liée au lieu de résidence, cette dernière fait a priori partie des variables masquées dans le code reçu. Elle est toute fois mentionnées dans la réponse de la CAF à la CADA, ce pourquoi il nous paraît raisonnable de l’inclure ici. Voir notre annexe méthodologique pour une discussion détaillée de la formule.
Pour ce faire, nous avons simulé les données nécessaires – une trentaine de variables – pour chaque « profil-type » puis utilisé l’algorithme pour calculer leur note. Mettre un lien vers nos simulations.
Le sur-ciblage des personnes en situation de handicap – bénéficiaires de l’AAH – ne concerne que celles disposant d’un travail. C’est ainsi que ces résultats sont compatibles avec les analyses du chapitre 10 du livre Contrôler les assistés de Vincent Dubois qui regroupent l’ensemble des personnes en situation de handicap. Voir notre annexe méthodologique pour une discussion détaillée de ce point.
Voir notamment une méthodologie alternative utilisée par LightHouse Reports dans son article sur Rotterdam pour lequel les journalistes disposaient non seulement de la formule mais aussi de données sur les personnes visées. Elle est disponible ici.
A revenus égaux, un parent seul gagne moins que deux parents. Quant au nombre de mois d’activité sur une année, il ne dépassera jamais 12 par an pour une famille monoparentale mais peut aller jusqu’à 24 pour un couple. Ce ciblage est particulièrement fort dans les mois qui suivent une séparation, ce type d’évènement dégradant fortement le score d’un·e allocataire. Voir nos analyses additionnelles en annexe méthodologique.
C’est ce qu’elle a déjà fait dans son « Vrai/Faux » sur le datamining où elle expliquait que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière ».
Les témoignages collectés par Stop Contrôles ou Changer de Cap montrent que la nécessité de prouver l’intentionnalité pour qualifier un indu de fraude – dont les conséquences pour un•e allocataire sont plus lourdes – est très régulièrement bafouée.
Il serait ainsi relativement facile pour la CAF de supprimer la référence directe aux minima sociaux ou à l’AAH dans son algorithme en se limitant à l’utilisation de la variable « faits générateurs trimestriels ». Cette dernière ne concerne que les allocations nécessitant une déclaration de ressources trimestrielles : AAH trimestrielle, APL, RSA et prime d’activité. S’agissant du ciblage des allocataires du RSA et de l’AAH, la CAF pourrait ainsi prétendre, sans trop perdre de précision, avoir modifié son algorithme en ne retenant dans le calcul que cette variable « faits générateurs trimestriels » tout en continuant à cibler les personnes aux minima sociaux.
Voir avant tout le livre de Vincent Dubois publié en 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir le chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.
<script type="text/javascript"> function footnote_expand_reference_container_22126_1() { jQuery('#footnote_references_container_22126_1').show(); jQuery('#footnote_reference_container_collapse_button_22126_1').text('−'); } function footnote_collapse_reference_container_22126_1() { jQuery('#footnote_references_container_22126_1').hide(); jQuery('#footnote_reference_container_collapse_button_22126_1').text('+'); } function footnote_expand_collapse_reference_container_22126_1() { if (jQuery('#footnote_references_container_22126_1').is(':hidden')) { footnote_expand_reference_container_22126_1(); } else { footnote_collapse_reference_container_22126_1(); } } function footnote_moveToReference_22126_1(p_str_TargetID) { footnote_expand_reference_container_22126_1(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_22126_1(p_str_TargetID) { footnote_expand_reference_container_22126_1(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }
Campagne de soutien 2024 : gros plan sur le Chiffrement
Comme bon nombre d’associations, vous le savez, nous avons lancé la semaine dernière notre campagne de soutien pour l’année qui vient. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent en 2024, principalement la promotion de l’interopérabilité des services Web, la lutte contre les algorithmes de contrôle social dans les administrations, la réflexion nécessaire autour du numérique nécessaire dans le contexte de la crise écologique, et la défense du droit au chiffrement des communications.
Cette semaine, nos publications ont mis l’accent sur la défense du chiffrement. Vous pouvez retrouver l’ensemble de ces « fils » sur nos réseaux sociaux : ici la présentation générale de la problématique, ici la nécessité du chiffrement pour que les réseaux soient structurellement compatibles avec le droit fondamental à la vie privée, ici les risques que le règlement européen CSAR, surnommé « Chat Control », fait peser sur le chiffrement de bout en bout des messageries instantanées, ici le rappel des fantasmes du ministre de l’Intérieur selon qui le chiffrement des communications par les militant·es politiques couvre la prolifération des projets « clandestins » fomentés par « les extrêmes », et enfin ici nous racontons comment le chiffrement, dans la logique de la DGSI, est carrément devenu un élément à charge dans le procès des inculpé·es de l’affaire du « 8 décembre ».
Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !
Censure constitutionnelle des mouchards audio, mais la géolocalisation passe l’épreuve
Le 16 novembre dernier, le Conseil constitutionnel, après avoir examiné la loi de programmation et d’orientation du ministère de la justice (LOPJ), a censuré la disposition qui autorisait les services de renseignement et de police à transformer les objets connectés en « mouchards » en les activant à distance (avec des techniques d’intrusion), pour utiliser leur micro ou leur caméra en toute discrétion dans le cadre de leurs enquêtes.
L’Observatoire des Libertés et du Numérique (OLN), dont La Quadrature du Net fait partie, s’était prononcé contre cette légalisation de l’espionnage policier, mal bordée par des conditions trop faciles à élargir dans l’usage, une fois l’idée rendue acceptable et banalisée.
Aujourd’hui, l’OLN se réjouit donc de la censure des « mouchards » comme micros ou comme caméras à distance, tout en soulignant le gros défaut de cette censure : l’activation à distance des objets connectés pour géo-localiser leur propriétaire reste autorisée par la loi. Si cela paraît moins grave, alors la stratégie du « chiffon rouge » chère au gouvernement aura fonctionné encore une fois : introduire une mesure inacceptable pour camoufler une mesure tout aussi contestable mais moins scandaleuse. Vous ne voulez pas être légalement écouté·es par les services de renseignement ? D’accord, d’accord… Mais vous serez légalement localisé·es.
2 décembre 2023 : le groupe Saccage 2024 appelle à une journée d’action contre les Jeux Olympiques de Paris 2024, notamment en raison des mesures de surveillance numérique prévues par la loi JO. Plus d’informations : https://saccage2024.noblogs.org/archives/2480.
8 décembre 2023 : Réunion d’information Technopolice à Rouen — à partir de 18h30, Maison des associations et la solidarité, 22 bis rue Dumont d’Urville, Rouen.
14 décembre 2023 : Causerie mensuelle du groupe Technopolice Marseille — à partir de 19h, Manifesten, 59 Rue Adolphe Thiers, Marseille.
14 décembre 2023 : Table ronde au festival OSINT à La Gaité Lyrique – à 11h, à La Gaité Lyrique, 259 rue Saint-Martin 75003 Paris. Plus d’informations sur https://www.gaite-lyrique.net/evenement/festival-osint
Communiqué de l’Observatoire des libertés et du numérique (OLN), Paris, le 23 novembre 2023.
Le 16 novembre 2023, le Conseil constitutionnel a rendu sa décision sur la loi de programmation de la justice en censurant une disposition relative à l’activation à distance des objets électroniques. Pour les organisations de l’Observatoire des libertés et du numérique (OLN) qui s’étaient fortement opposées à cette mesure, cette décision est plus que bienvenue. Pour autant, elle ne saurait constituer une victoire criante.
Il faut se souvenir des récentes décisions de ce même Conseil constitutionnel faisant peu cas du respect des libertés : validation de la vidéosurveillance algorithmique dans la loi JOP 2024, légalisation des drones, blanc-seing à l’assouplissement de la procédure pénale dans la LOPMI au nom d’une « efficacité opérationnelle »… Si l’on peut saluer le sursaut de la décision de la semaine dernière, il est difficile d’y déceler une volonté de mettre fin à la fuite en avant sécuritaire, tant cette institution l’a accompagnée ces dernières années. Pour caractériser une atteinte au droit à la vie privée, le Conseil retient qu’il existe un risque pour les tierces personnes étant dans le champ d’une éventuelle captation déclenchée par cette activation à distance du micro ou de la caméra. Si nous saluons l’établissement d’une telle limite, qui pourra servir d’argument pour d’autres types de surveillance, nous regrettons que le Conseil ne prenne jamais en compte le changement de paradigme philosophique et politique qu’implique la possibilité de transformation de tout objet numérique en mouchard de la police.
Cette absence dans le raisonnement s’illustre par la validation pure et simple de l’activation à distance des fonctions de géolocalisation de téléphone et autres objets connectés (voiture, balises airtag, montre etc) qui repose exactement sur le même procédé technique que le dispositif censuré : la compromission d’un périphérique, en y accédant directement ou par l’intermédiaire d’un logiciel espion pour en prendre le contrôle à distance. Or, une telle possibilité soulève de graves problèmes en termes de vie privée, de sécurité et d’intégrité des preuves. On le comprend, le caractère intrusif de cette technique, pourtant au cœur des scandales Pegasus et Predator Files, n’intéresse pas le Conseil.
Pour justifier cette nouvelle forme de surveillance, le gouvernement et ses soutiens ont répété que les services de renseignement seraient déjà autorisés à activer à distance les micros ou caméras de terminaux. Pourtant, la lecture de l’article L. 853-2 du code de la sécurité intérieure montre précisément l’inverse : ne peuvent être mis en œuvre par les services de renseignement que des dispositifs qui permettent d’accéder à des données qui « s’affichent sur un écran », telles qu’une personne les « introduit par saisie de caractère » ou « telles qu’elles sont reçues et émises par des périphériques. » Autrement dit, le droit actuel ne permet aux services de renseignement que d’enregistrer l’activité d’une personne sur un téléphone ou un ordinateur, mais en aucun cas d’activer à son insu une fonctionnalité supplémentaire comme un micro ou une caméra. Cette pratique, pourtant avancée pour justifier le bien-fondé de la mesure, semble donc illégale et doit être sérieusement questionnée.
De façon générale, on assiste à un essor toujours plus important des technologies de surveillance et à une banalisation de leurs usages par les services de police et de renseignement alors que, souvent, elles ne répondent à aucun cadre. Ces pratiques illégales se généralisent aussi bien dans les ministères que sur le terrain, et la licéité de ces outils n’est jamais une préoccupation de ceux qui les utilisent. Qu’il s’agisse de logiciels illégaux de surveillance algorithmique et reconnaissance faciale, de fichage sauvage ou ou encore d’exploitation de téléphone en garde à vue, l’impunité se répand, l’illégalité se banalise. Dans ce contexte et avec ces tendances lourdes, la décision du Conseil constitutionnel est salutaire mais nous apparaît malheureusement trop peu engageante pour y voir un avertissement fort contre la surveillance.
Organisations signataires membres de l’OLN : Globenet, Creis-Terminal, la Ligue des droits de l’Homme (LDH), Le Syndicat des Avocats de France (SAF), le Syndicat de la Magistrature (SM), La Quadrature du Net (LQDN).
Campagne 2024 : c’est le moment de soutenir La Quadrature !
Comme chaque fin d’année à l’approche de l’hiver, nous lançons notre campagne de soutien pour financer l’année qui vient. Si vous pouvez faire un don pour nous aider à travailler en 2024, c’est maintenant, et c’est ici !
Pour nous, c’est bien sûr aussi un moment important pour réfléchir aux chantiers qui nous attendent, en plus de ceux qui nous occupent déjà beaucoup. Sans cesse il faut faire des choix, décider où mettre le temps et l’énergie qui ne sont pas illimitées. Alors on se donne une sorte de « feuille de route » pour garder le cap, sans s’interdire bien sûr de se consacrer aux surprises bonnes ou mauvaises de l’actualité quand elles se présenteront. Cette « feuille de route » est ici.
Nous porterons plus haut que jamais l’idée et la nécessité d’obliger les services web à l’interopérabilité, seul moyen de lutter contre la recentralisation du Web et la tyrannie de l’économie de l’attention. Nous lutterons autant que nécessaire contre les algorithmes utilisés par les administrations pour criminaliser et punir les bénéficiaires des services sociaux. Nous défendrons le droit au chiffrement des communications, attaqué de toutes parts par les gouvernements français et européens sous prétexte de lutter contre le terrorisme, au mépris du droit fondamental qu’est le secret des correspondances, vital pour les démocraties. Et enfin, nous réfléchirons à ce que le numérique fait au monde, non seulement selon les points de vues sociaux et politiques qui sont les nôtres depuis toujours, mais aussi du point de vue écologique, dans le contexte bien connu de la destruction de l’écosystème par les activités humaines. Quels usages faut-il promouvoir et lesquels abandonner ? Il nous semble que La Quadrature à quelque chose à en dire : « l’écologie sans la politique, c’est du jardinage », dit le dicton.
Nous aurons donc beaucoup à faire dans l’année qui vient. Alors si vous le pouvez, soutenez-nous ! Tous les dons sont les bienvenus, même les tout petits, et les dons mensuels même minimes auront toujours notre prédilection parce qu’ils nous permettent d’envisager le budget de l’année avec plus de sérénité. Merci pour tout ce que vous pourrez faire, et merci aussi de faire connaître cette campagne de soutien sur vos réseaux sociaux !
Révélation : la police nationale utilise de manière illégale les logiciels de VSA de la société Briefcam
C’est l’association Disclose qui a publié l’information après une enquête approfondie : la police nationale utilise en toute illégalité et en toute connaissance de cause les logiciels de la société Briefcam, qui appliquent un traitement algorithmique aux photos et aux flux de vidéosurveillance pour analyser les images et identifier des personnes par reconnaissance faciale.
Nous avons documenté depuis quelque temps l’utilisation de ce logiciel ou d’outils similaires par les polices municipales, mais nous n’avions pas de preuves concernant les pratiques de la police nationale. C’est aujourd’hui chose faite>. Nous rappelons dans un article de réaction à cette publication de Disclose les éléments juridiques qui posent l’illégalité du dispositif, et nous en appelons aussi à la CNIL, beaucoup trop conciliante jusqu’à présent avec les usages illégaux de la reconnaissance faciale et de logiciels d’analyse par les forces de police.
Une coalition d’associations européennes attaque le Règlement Terro en France
Le 8 novembre denier, six organisations européennes — La Quadrature du Net, Access Now, ARTICLE 19, European Center for Not-for-Profit Law, EDRi et Wikimedia France — ont déposé devant le Conseil d’État un recours contre le décret qui doit adapter dans le droit français les dispositions du « règlement Terro » européen (ou TERREG) adopté en 2021.
Mais en quoi ce contentieux français concerne-t-il nos partenaires européens ? C’est que ce recours en France est pour nous un point d’entrée : nous demandons au Conseil d’État de transmettre à la Cour de justice de l’Union européenne (CJUE) une « question préjudicielle » sur la validité du TERREG. Nous pensons que ce règlement, qui permet aux forces de police d’un pays de l’UE d’ordonner à un site web de bloquer dans un délai d’une heure (oui, une heure) tout contenu supposé être à caractère terroriste, contrevient au regard des droits fondamentaux protégés par le droit de l’UE.
La procédure durera plusieurs mois, avant que le gouvernement français produise sa réponse, et probablement plusieurs années avant que la CJUE ne rende sa décision. Mais comme nous rejetons les dispositions numériques du TERREG depuis sa première ébauche en 2018, on peut dire que La Quadrature a les idées longues. On suit l’affaire et on vous tiendra au courant !
8 décembre 2023 : Réunion d’information Technopolice à Rouen — à partir de 18h30, Maison des associations et la solidarité, 22 bis rue Dumont d’Urville, Rouen.
14 décembre 2023 : Causerie mensuelle du groupe Technopolice Marseille — à partir de 19h, Manifesten, 59 Rue Adolphe Thiers, Marseille.
