Mise à jour de la base de données, veuillez patienter...

En catimini pendant les fêtes, le gouvernement a déposé le projet de loi concernant les jeux Olympiques et Paralympiques de 2024. Comme on l’attendait, ce texte prévoit d’ouvrir la voie à la légalisation de la vidéosurveillance automatisée (ou algorithmique, abrégée « VSA »), le tout sous un vernis théorique d’expérimentation limitée dans le temps. Et ce alors que partout sur le territoire, ces technologies sont déjà employées dans l’illégalité et l’impunité la plus totale. Prenant pour prétexte l’organisation prochaine des grandes compétitions sportives, le gouvernement et nombre de parlementaires se posent en défenseurs de l’industrie française en lui permettant de s’étendre durablement sur le marché de la vidéosurveillance.

Pour rappel : la vidéosurveillance automatisée, c’est la surveillance policière massive de l’espace public pour détecter des comportements réputés « anormaux » ; c’est le suivi algorithmique d’individus « suspects » dans la rue ; c’est l’intelligence artificielle pour faire la chasse aux illégalismes populaires ; c’est, à terme, l’identification par reconnaissance faciale en temps réel et la massification de la vidéoverbalisation ; ce sont des dizaines de millions d’euros d’argent public pour des technologies dangereuses déployées sans aucun débat digne de ce nom.

Si nous voulons tenir en échec ce projet de société, il nous faut obtenir coûte que coûte le rejet de ces dispositions. Tenez-vous prêt·es pour la mobilisation !

Cela fait plus de trois ans que nous documentons l’expérimentation illégale de la vidéosurveillance automatisée dans les villes et les villages français, que nous saisissons les tribunaux, dans des grandes villes comme à Marseille ou de petits villages comme à Moirans (Isère), pour dénoncer l’illégalité de ces technologies de surveillance dopées à l’intelligence artificielle. Trois années que, de leur côté, le gouvernement et les industriels se savent dans l’illégalité et qu’ils cherchent à changer la loi pour sécuriser ces déploiements sur le plan juridique. En 2020 déjà, la loi Sécurité Globale avait failli servir de canal législatif. Par peur des oppositions, le gouvernement avait alors préféré temporiser. Mais cette fois, nous y sommes…

L’opportunisme des Jeux olympiques

Le choix des Jeux olympiques et paralympiques de 2024 pour tenter de légaliser ces technologies n’est pas anodin. Les JO sont un « méga-évènement » qui, par leur dimension exceptionnelle, vont permettre la mise en œuvre et l’accélération de politiques tout aussi exceptionnelles. Comme cela a pu être observé lors des précédentes éditions, ces évènements sont l’occasion d’innovations législatives sécuritaires. Les lois accompagnant les Jeux olympiques mettent systématiquement en place un cadre pour un maintien de l’ordre strict, une militarisation de l’espace public ou encore une intensification des mesures de surveillance.

Le chercheur Jules Boykoff compare ce phénomène d’accélération législative à la « théorie du choc », développée par Naomi Klein, selon laquelle les gouvernement utilisent une catastrophe ou un traumatisme social pour faire passer des mesures basées sur la privatisation et la dérégulation. Les Jeux olympiques apparaissent eux aussi comme un accélérateur de politiques exceptionnelles, mais cette fois-ci en prenant appui sur un moment de fête ou de spectacle, par essence extra-ordinaire, où les règles politiques pourraient être temporairement suspendues, pour faire progresser des politiques qu’il aurait été difficile, voire impossible, de mettre en place en temps normal. 

Le gouvernement brésilien a ainsi utilisé les Jeux olympiques de 2016 à Rio pour mener des opérations quasi militaires dans les favelas ou expulser des personnes de leur logement. De la même manière, pour les Jeux olympiques de Tokyo, le gouvernement japonais a fait passer une loi « anti-conspiration » en réalité voulue de longue date pour mâter les groupes militants et syndicaux. Les gouvernements précédents avaient tenté sans succès à trois reprises de faire passer une législation analogue. Cette loi a été très critiquée, notamment par les Nations Unies, au regard des atteintes aux libertés qu’elle créait et aux pouvoirs de surveillance qu’elle conférait à l’État. 

De la même manière, les méga-évènements sportifs sont souvent qualifiés de « spectacles de sécurité » ou « vitrines sécuritaires » puisqu’ils permettent à la fois d’être des moments d’expérimentation et des laboratoires des technologies, mais aussi de jouer sur ce moment exceptionnel pour atténuer les mesures de surveillance et les rendre plus acceptables (on vous en parlait notamment déjà ici et là).

Paris dans la course

Le choix du gouvernement français d’introduire les expérimentations de vidéosurveillance automatisée dans la loi sur les JO 2024 répond exactement à ce schéma et cette logique d’instrumentalisation des méga-évènements. Alors qu’aucune étude publique et scientifique n’existe sur ce sujet et qu’aucun besoin n’a été précisément identifié, les mesures concernant la VSA sont présentées par le gouvernement et certains parlementaires comme nécessaires à la sécurité de cet évènement. 

Dans l’analyse d’impact, le gouvernement se contente de prendre comme exemple la détection de colis abandonnés : « Plutôt que d’attendre son signalement par des effectifs de voie publique ou sa localisation par les opérateurs chargés du visionnage de milliers d’images de vidéosurveillance, cette mesure permettrait de gagner un temps précieux » et « seule l’utilisation d’un traitement algorithmique est de nature à signaler en temps réel cette situation à risque et de permettre aux services concernés de l’analyser et d’y donner suite le cas échéant.» Voilà pour la seule justification à l’introduction d’une surveillance algorithmique de l’espace public que le gouvernement entend déjà pérenniser et qui concerne potentiellement des millions de personnes.

Car en réalité, les expérimentations s’insèrent dans un projet politique plus large et satisfont les désirs exprimés depuis plusieurs années par le secteur industriel et les institutions policières d’utiliser massivement ces dispositifs. Il est donc certain que ces outils ne seront pas abandonnés après la fin de la période d’expérimentation, de la même manière que les boites noires des services de renseignement ou les règles dérogatoires de l’état d’urgence de 2015 ont été pérennisées alors qu’elles étaient censées être temporaires et exceptionnelles. D’ailleurs, des parlementaires en vue sur ce dossier, comme Philippe Latombe, évoquent dores et déjà une autre loi, plus généraliste, à venir sur le même sujet dans le courant de l’année 2023.

Un laisser-passer pour le marché de la VSA

Afin de permettre le développement de la VSA, le gouvernement a prévu un article 7 au sein du projet de loi qui propose un processus d’expérimentation découpé en plusieurs étapes jusqu’en juin 2025. Derrière cet apparent formalisme procédurier, l’article 7 constitue en réalité un tremplin pour la vente des logiciels de VSA à l’État et aux collectivités locales par le secteur privé. 

Déjà, Si la loi est présentée comme concernant les Jeux olympiques, c’est en réalité sur une quantité d’évènements toute autre que les algorithmes vont être déployés pendant la durée prescrite pour les expérimentations : festivals de musique, courses de marathon, spectacles en plein air, marchés de Noël ou encore la coupe du monde de rugby 2023. Autant d’évènements « sportifs », « récréatifs » ou « culturels » qui serviront de terrain de jeux à ces algorithmes. D’ailleurs, le périmètre de ces évènements est également très large puisque les images utilisées iront jusqu’aux abords de ces lieux et aux moyens de transport les desservant (l’intérieur et les voies).

Tout d’abord, les expérimentations sont censées respecter une double condition qui épouse parfaitement le vocable et les offres créés par le marché de la VSA. Premièrement, elles doivent avoir pour finalité « d’assurer la sécurité de manifestations sportives, récréatives ou culturelles, qui, par leur ampleur ou leurs circonstances sont particulièrement exposées à des risques d’actes de terrorisme ou d’atteinte grave à la sécurité des personnes ». Deuxièmement, l’objet des traitements doit être « de détecter, en temps réel, des événements prédéterminés susceptibles de présenter ou de révéler ces risques et de les signaler en vue de la mise en œuvre des mesures nécessaires » pour une panoplie de services de sécurité (la police et la gendarmerie nationales, la police municipale, les services d’incendie et de secours et les services internes de sécurité de la SNCF et de la RATP). Les images traitées peuvent être celles issues des caméras de surveillance ou des drones, ces derniers étant autorisés depuis l’année dernière.

Comme pour beaucoup de dispositifs de surveillance, le gouvernement se justifie par une logique de prévention de risques. Et, comme souvent, ceux-ci sont si largement définis qu’ils peuvent inclure un nombre très large de situations. On retrouve à travers la fonctionnalité de détection d’évènements le cœur des dispositifs conçus et vendus par le marché de la VSA : deviner et classer les comportements « à risque » dans l’espace public et alerter sur ceux qui nécessiteraient une attention et une intervention de la police. Ainsi, dans la loi, l’« intelligence artificielle » (qui n’est jamais définie dans le texte) permettrait de déceler dans nos manières de vivre, bouger, marcher celles qui doivent déclencher – ou non – une alerte. 

Dans l’étude d’impact, les seuls « impacts sociaux » que le gouvernement relève seraient des avantages : la VSA « renforcerait » la sécurité, garantirait la « préservation de l’anonymat dans l’espace public et l’absence d’atteinte au droit à la vie privée » du fait de l’absence de reconnaissance faciale – carrément ! – et, enfin, les exigences de la loi permettraient la « neutralité de l’outil ». De son coté dans son avis, le Conseil d’État reprend la même logique que celle promue par les entreprises, à savoir que la fonction de l’algorithme se limite à une « levée de doute », minimisant ainsi le rôle du logiciel dans la prise de décision des agents de sécurité qui se déresponsabilisent derrière un outil technique. La CNIL, elle, est aux abonnés absents, se contentant de se féliciter que les « garanties » exigées dans sa précédente position qui appelait à légaliser la VSA aient été reprises dans le projet de loi…

Nous l’avons dénoncé à plusieurs reprises : ces outils sont tout sauf neutres. Dans la pratique actuelle du secteur, ces évènements vont de la « détection de comportement suspect », au « maraudage » (le fait d’être statique dans l’espace public), en passant par le « dépassement d’une ligne virtuelle » (c’est-à-dire l’entrée d’une personne dans une zone), le suivi de personne, la détection d’objets abandonnés, d’une bagarre ou encore d’un vol. Les comportements dits « suspects » ne reflètent aucune réalité tangible mais ne sont que la matérialisation de choix politiques subjectifs et discriminatoires qui se focalisent sur les personnes passant le plus de temps dans la rue : par exemple, sous la fonctionnalité de détection du « maraudage » se cache en réalité une chasse aux personnes mendiant. Qu’elle soit humaine ou algorithmique, l’interprétation des images est toujours dictée par des critères sociaux et moraux, et l’ajout d’une couche logicielle n’y change rien. Au final, elle automatise et massifie la prise de décision de la police pour mieux lui permettre d’augmenter son pouvoir de surveillance et de répression. 

Afin de pousser cette stratégie de minimisation de sa surveillance, le gouvernement affirme également que ces dispositifs ne traiteraient pas de données biométriques (ce qui est faux comme nous l’expliquions ici, et comme l’a récemment rappelé le Défenseur des droits¹Dans son rapport « Technologies biométriques : l’impératif respect des droits fondamentaux » de 2021, le Défenseur des droits considérait déjà les technologies de VSA comme des traitements de données biométriques. En 2022, il rappelait que la VSA consiste à traiter des données biométriques dans son enquête sur la « Perception du développement des technologies biométriques en France ».<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19834_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_19834_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });) et qu’ils ne feront pas de reconnaissance faciale. En s’engageant à renoncer pour l’instant à cette technologie qui a une place bien particulière dans l’imaginaire collectif, il joue ici un jeu politique et stratégique de communication pour donner à la VSA une image moins dangereuse. Le discours consiste à affirmer que la VSA ne reposerait « que » sur une analyse d’images purement technique qui ne se contenterait « que » d’« assister » l’humain. À nouveau, le gouvernement et le Conseil d’État piochent ici directement dans la pile d’arguments des marchands et promoteurs de la VSA. Celle-ci n’est en rien moins dangereuse que la reconnaissance faciale et touche à la même intimité du corps. En d’autres termes, la reconnaissance faciale n’est que l’une des nombreuses applications de la VSA. Et il y a fort à parier que son usage pour identifier des personnes en temps réel sur la voie publique sera à son tour légalisé, à l’occasion d’une prochaine et énième loi sécuritaire. Dès 2018, c’est d’ailleurs cet usage-là que des élus comme Christian Estrosi, le maire Horizons de Nice, mettaient en avant pour légitimer le recours à la vidéosurveillance automatisée dans leurs villes.

L’État aux manettes

Ensuite, le projet de loi prévoit que la confection et le déploiement des algorithmes soient divisé·es en plusieurs étapes, toutes supervisées par le pouvoir exécutif et avec le moins d’obstacles ou de gardes-fous possibles. 

Tout d’abord, à l’instar de la vidéosurveillance classique, les services de l’État ou des collectivités locales devront faire une demande d’autorisation au préfet. Ces demandes d’autorisation devront identifier un évènement précis où l’expérimentation aura lieu (par exemple le marathon de Paris en avril 2023 ou le festival des Vieilles Charrues en juillet) et définir l’algorithme à mettre en œuvre (quel « évènement » détecter, les spécificités de la situation justifiant l’usage de la VSA, qui peut y a voir accès, comment cela est financé…). Une analyse « bénéfices/risques » doit également être jointe à cette demande mais ce type de document est classiquement exigé en droit des données personnelles et il a dores et déjà fait la preuve de son incapacité à protéger les libertés publiques (ces analyses d’impact sont généralement mal rédigées par les demandeurs et n’empêchent presque jamais le déploiement de dispositifs qui pourraient plus tard être jugés illégaux par la justice).

Pour fabriquer le logiciel, l’État et les collectivités auront trois options : le développer eux-mêmes, le faire développer par un tiers, ou bien l’acquérir directement sur le marché. C’est bien entendu ces deux dernières options qui seront très probablement privilégiées puisqu’il est bien moins cher et bien plus rapide de confier la tâche à des entreprises qui le font depuis des années que de créer un service d’ingénieur·es en interne (qui gagneraient d’ailleurs davantage dans le secteur privé). Et du coté des industriels de la VSA – les gros comme Thales ou Idemia, les plus petits comme Briefcam, Aquilae, XXII, Two-I ou Datakalab –, c’est banco  ! Cette loi va leur permettre de démultiplier les déploiements en apportant un cadre juridique qui fait largement défaut jusqu’à présent, en réorientant l’ensemble des développements de leurs technologie de « vision assistée par ordinateur » vers des applications sécuritaires.

Quant aux foules passées au crible de ces systèmes au cours de la multitude d’évènements où auront lieu les tests, elles serviront de cobayes : le projet de loi prévoit en effet que les images de vidéosurveillance « classique » encadrées par le code de sécurité intérieure pourront être utilisées comme données d’apprentissage si leur durée de conservation n’est pas expirée. Or, on apprend dans l’étude d’impact que « si la réutilisation de ces données est nécessaire à la correction des paramètres du traitement, ces dernières peuvent être conservées au-delà de ces durées, dans la limite de la durée de l’expérimentation et pour ce seul usage, afin de parfaire l’apprentissage des algorithmes ». Cela signifie que les entreprises de VSA pourront donc disposer d’un volume conséquent d’images pour entraîner leurs algorithmes. Et les citoyen·nes filmé·es deviendraient tout simplement leurs rats de laboratoire. 

Coté technique, le projet de loi prévoit que le développement du logiciel devra répondre à des exigences qui sont en total décalage avec la réalité de la confection de ce type de logiciels d’analyse d’image. Nous y reviendrons plus longuement dans un prochain article. 

Ces exigences feront l’objet d’une attestation de conformité établie par une autorité administrative qui n’est pas encore définie et selon des critères et des méthodes qui ne sont jamais précisées. On apprend dans l’étude d’impact que l’État demandera probablement de l’aide à un « organisme de certification spécialisée ». Sans doute un autre acteur privé ? En tout cas, la seule chose qui est demandée aux industriels est de « présenter des garanties de compétences et de continuité et fournir une documentation technique complète ». 

Une fois le logiciel prêt, ce seront le préfet du département et, à Paris, le préfet de police qui autoriseraient l’utilisation des algorithmes auprès des services de sécurité qui en feront la demande. Ils seront également les seuls à pouvoir décider d’arrêter son utilisation ou de la renouveler, tous les mois, si les conditions sont remplies. À la fin de tout ça, ce que l’on remarque, c’est l’absence criante de la CNIL. Évincée du processus, ses pouvoirs sont extrêmement limités et jamais contraignants, qu’il s’agisse du décret d’autorisation de l’expérimentation (il s’agit d’un avis uniquement consultatif), dans la décision du représentant de l’État ou du préfet de police de mettre en œuvre le système (cette décision lui est simplement adressée) ou dans le suivi de expérimentation (le préfet la tient au courant « au tant que besoin », c’est-à-dire selon son bon vouloir).

Cette éviction de tout contrôle indépendant n’est pas étonnante et s’inscrit dans la perte de pouvoirs de la CNIL observée depuis le début des années 2000, celle-ci étant mise à distance sur les sujets de surveillance étatique pour se concentrer vers l’accompagnement des entreprises. L’absence de réaction forte de la CNIL face au déploiement de la VSA pour préférer le dialogue complaisant avec ses constructeurs confirme bien sa mue en autorité régulatrice du secteur économique de la surveillance. 

La bataille commence

Le gouvernement avait ce projet dans ses cartons depuis longtemps. Nous ne souhaitons en aucun cas l’améliorer ou rafistoler la loi : nous voulons le rejet pur et simple de cet article 7 pour le projet de société de surveillance qu’il incarne. 

La VSA est un changement de dimension de la surveillance de masse. En autorisant l’État à analyser, classer, évaluer les mouvements et comportements de chaque individu dans l’espace public, en lui donnant des pouvoirs de décision décuplés par l’automatisation de la prise de décision, cette technologie transforme notre rapport à l’espace public et démultiplie les capacités de contrôle et de répression de la police. 

Nous allons nous battre pour que cette première étape de la légalisation de la VSA ne puisse jamais voir le jour. Nous allons avoir besoin de vous afin de montrer l’opposition de la société à ces technologies et interpeller les parlementaires. La bataille commence au Sénat dès le 18 janvier, avant que soit transmis le texte à l’Assemblée. Nous reviendrons rapidement avec de nouvelles analyses et des outils pour vous permettre d’agir avec nous ! En attendant, nous vous invitons à venir nombreuses et nombreux en discuter le 14 janvier à la Flèche d’Or, à Paris. Nous parlerons Technopolice et Jeux olympiques avec des militant·es et chercheur·euses qui travaillent sur le sujet, toutes les infos sont ici !

<script type="text/javascript"> function footnote_expand_reference_container_19834_2() { jQuery('#footnote_references_container_19834_2').show(); jQuery('#footnote_reference_container_collapse_button_19834_2').text('−'); } function footnote_collapse_reference_container_19834_2() { jQuery('#footnote_references_container_19834_2').hide(); jQuery('#footnote_reference_container_collapse_button_19834_2').text('+'); } function footnote_expand_collapse_reference_container_19834_2() { if (jQuery('#footnote_references_container_19834_2').is(':hidden')) { footnote_expand_reference_container_19834_2(); } else { footnote_collapse_reference_container_19834_2(); } } function footnote_moveToReference_19834_2(p_str_TargetID) { footnote_expand_reference_container_19834_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_19834_2(p_str_TargetID) { footnote_expand_reference_container_19834_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Après avoir documenté l’utilisation d’un algorithme de notation des allocataires à des fins de contrôle social par la CAF (voir ici et ici), nous revenons ici sur la fuite de plus de 10 000 dossiers d’allocataires suite à un ensemble de négligences de la part de l’institution.

Suite à notre travail sur l’utilisation d’un algorithme de notations des allocataires utilisé afin de sélectionner celles et ceux qui feront l’objet d’un contrôle (voir ici et ici), nous avons été contacté·es par la cellule investigation de Radio France à propos d’une base de données contenant plus de 10 000 dossiers d’allocataires de la CAF disponible en ligne sans aucune protection et accessible par n’importe qui.

Une fuite majeure : état civil, situation familiale, données médicales et multiples informations sur les enfants

Pour chaque dossier, 181 variables sont disponibles¹Pour l’explication des variables présentes, voir ce dictionnaire. La liste des variables est accessible ici. D’autres données relatives à la navigation internet des allocataires sur le site de la CAF étaient disponibles.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. On trouve notamment les informations suivantes sur chaque allocataire :

• État civil : sexe, date de naissance, nationalité (française ou non), adresse (sans le nom de la ville)²Voir SEXE, DTNAIRES, NATIFAM, LILI4ADR.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Logement : type de logement (propriétaire, locataire, sans domicile fixe, hébergement à titre gracieux, hôtel…), informations sur le loyer ³Voir OCCLOG, MTAIDEL, MTLOYREM.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Situation personnelle : célibataire/veuf·ve/en couple/divorcé·e, personne sous tutelle ou non (civile, judiciaire, médicale…) ⁴Voir SITFAM, NATTUT.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Situation médicale : grossesse en cours ou non, « niveau » de handicap⁵Voir TITUAAH, TOPGRO, CINCAAH.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_5').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Situation professionnelle : « activité » (chômeurs·es, salarié·e, retraité·e, étudiant·e, handicapé·e, personne « inactive ») ⁶Voir ACTRESPD0.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_6').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Situation du conjoint : activité (chômeurs·es, activité « normale », retraité·e, étudiant·e, handicapé·e, « inactive »), date de naissance ⁷Voir PRESCONJ, DTNAICONJ, ACTCONJ.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_7').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Situation familiale : nombre de personnes du foyer, nombre d’enfants, existence de pensions alimentaires, de garde alternée, revenus du foyer ⁸Voir SITFAM, PERSCOUV, NBENLEFA, TPA, NBUC, RUC.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_8').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Pour chaque enfant de l’allocataire : date de naissance, sexe, s’il ou elle est orphelin, a été abandonné·e à la naissance, sa « qualité » (« infirme », étudiant·e, stagiaire, salarié·e, apprenti·e), s’il ou elle est à charge ou encore en résidence alternée⁹Voir variables DNAIENF, CATEENF, QUALENF, ENFASFVERS.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_9').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
• Type et montant des allocations : Allocations familiales, APL, RSA, Prime d’activité, Allocation d’adultes Handicapés ¹⁰Voir toutes les variables en *VERS, TITUAAH.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_10').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

L’exposition de cette base de données révèle donc énormément d’informations personnelles et sensibles sur plus de 10 000 allocataires. Et ce depuis plus d’un an et demi¹¹Les premiers exercices semblent avoir été publiés en mars 2021.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_11').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, sa date de mise en ligne remontant à mars 2021.

L’authenticité de ces données a été vérifiée par des journalistes de Radio France qui ont contacté plusieurs des allocataires identifiés à partir des informations disponibles.

Des données transférées à un prestataire privé sans aucune justification

Ces données ont été mises en ligne par un prestataire privé à qui la CAF avait demandé de former ses agent·es à la manipulation d’un logiciel de traitement statistique. C’est dans le cadre de cette formation que la CAF a communiqué quelques 10 000 dossiers d’allocataires à ce prestataire. Le but était qu’il puisse créer des exercices portant sur des cas réalistes.

À la vue du niveau très basique des exercices proposés dans la formation (manipulation simple de variables, tri de données, export/import de tables…), rien ne justifie l’utilisation de données personnelles des allocataires. En d’autres termes, les exercices auraient pu être réalisés avec des jeux de données complètement anodins (accessibles publiquement par exemple).

Contacté par Radio France, le prestataire a lui-même dit qu’il pensait que les données envoyées étaient « fictives », ajoutant qu’il n’avait pas demandé de données réelles car cela n’était pas nécessaire…

Ce transfert de données semble donc révéler le peu de cas que la CAF fait de nos données personnelles. Ou plutôt un sentiment de propriété de nos données personnelles de la part de ses responsables, qui semblent trouver cela normal de les transférer sans aucune raison à des prestataires privés… Ou de les utiliser pour développer un algorithme de notation ciblant les plus précaires.

Petit rappel aux responsables de la CAF (1/2) : supprimer les noms et prénoms ne revient pas à anonymiser des données

Certes, la CAF avait pris la « précaution » d’enlever du jeu de données les noms et prénoms des allocataires ainsi que le code postal. Mais une simple recherche à partir du reste de l’adresse (numéro et nom de rue), sur un site comme les Pages jaunes, suffit à identifier de nombreuses personnes.

C’est cette approche qu’a adoptée l’équipe de Radio France pour vérifier l’authenticité des données via l’appel à des allocataires dont la trace a été retrouvée.

Ainsi la CAF semble ignorer les principes de base de l’anonymisation des données personnelles. Une anonymisation correcte nécessite bien plus de traitements de manière à ce qu’il ne soit pas possible d’identifier les individus auxquels sont rattachés les données. Il faut par exemple supprimer, ou a minima modifier, les informations directement identifiantes (date de naissance et adresse par exemple). Nous redirigeons ces responsables vers le guide de la CNIL portant sur ce sujet.

Petit rappel aux responsables de la CAF (2/2) : chiffrer ses données, c’est bien

Pire, la base de données a été publiée sans que son accès n’ait été protégé. On aurait pu imaginer, a minima, que le prestataire les chiffrerait avant de les mettre en ligne pour les élèves de la formation à qui il aurait communiqué le mot de passe protégeant le fichier.

Mais même cette mesure de précaution élémentaire a été écartée. Le fichier contenant les informations a été publié sans la moindre protection. Il était donc accessible à toute personne se rendant sur le site du prestataire.

Le « Centre National d’Appui au Datamining » au centre des controverses

L’analyse des adresses des allocataires présentes dans les fichiers révèle que la plupart se trouvent en région bordelaise. Or c’est à Bordeaux que se trouve le « Centre National d’appui au Datamining » (CNAD)¹²Le centre d’appui au datamining (CNAD) a été créé en 2012 à Bordeaux par la CAF de Gironde. Voir notamment l’article de Mathieu Arzel dans le numéro 58 revue Regards publié en 2020 et disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19807_2_12').tooltip({ tip: '#footnote_plugin_tooltip_text_19807_2_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); de la CAF.

Ce centre a été créé en 2012 pour développer le fameux algorithme de notation des allocataires aujourd’hui vivement contesté (voir ici, ici, ici, ici ou encore ici).

Il est ainsi légitime de se demander si la formation ayant conduit à la fuite de données était à destination des agent·es du CNAD. Peut-être même d’agent·es ayant vocation à travailler sur l’algorithme de notation lui-même ?

La CAF doit rendre des comptes sur ses pratiques numériques

Les révélations sur les pratiques numériques nocives et irrespectueuses des données personnelles des allocataires par la CAF s’accumulent. Face aux questions légitimes qui lui sont posées, la CAF préfère s’enfermer dans l’opacité (voir notre article ici).

Nous n’arrêterons pas pour autant de les documenter.

Image d’illustration : reconstitution d’un extrait de la base de données concernée par la fuite.

<script type="text/javascript"> function footnote_expand_reference_container_19807_2() { jQuery('#footnote_references_container_19807_2').show(); jQuery('#footnote_reference_container_collapse_button_19807_2').text('−'); } function footnote_collapse_reference_container_19807_2() { jQuery('#footnote_references_container_19807_2').hide(); jQuery('#footnote_reference_container_collapse_button_19807_2').text('+'); } function footnote_expand_collapse_reference_container_19807_2() { if (jQuery('#footnote_references_container_19807_2').is(':hidden')) { footnote_expand_reference_container_19807_2(); } else { footnote_collapse_reference_container_19807_2(); } } function footnote_moveToReference_19807_2(p_str_TargetID) { footnote_expand_reference_container_19807_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_19807_2(p_str_TargetID) { footnote_expand_reference_container_19807_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Extrait du code source de l’algorithme de notation transmis par la CAF.

Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de contrôle social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de profilage attribuant à chaque allocataire une note ou «score de risque». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

Cet algorithme symbolise l’étendue des dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de tri et d’évaluation continue de chacun de nos faits et gestes.

Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le code source de son algorithme¹Voir notre demande CADA ici<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Et sa réponse est affligeante²Voir la réponse de la CAF ici et le code source caviardé ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Sortir de la précarité pour “tromper l’algorithme”

Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »³Voir la réponse de la CAF ici et le code source caviardé ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le code source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme»⁴Voir la réponse de la CAF ici et le code source caviardé ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

La CAF croit-elle vraiment que les critères liés à la précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté?

Ce raisonnement frise l’absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

Pire, le secrétaire général de la CAF entretient publiquement la confusion entre fraudes et erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.

En réponse à un journaliste de Radio France⁵Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_5').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter: « Il faut que l’on ait un coup d’avance ».

Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires⁶Voir notre article présentant l’algorithme de notation des allocataires de la CAF disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_6').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».

De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement⁷Un algorithme similaire a fait l’object d’un scandale retentissant aux Pays-Bas. Discrimantn. Sur ce sujet, voir notamment le rapport “Xenophobic machines: Discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal” publié en 2021 par Amnesty International et disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_7').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });?

Déni de justice

Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les paramètres de cet algorithme⁸Voir l’article R-311-3-1-2 du CRPA disponible ici. <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_8').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle⁹En tout état de cause, le fait de ne pas avoir été contrôlé est aussi une décision administrative. Le CRPA donne donc des droits étendus à toute personne ayant été notée, qu’elle ait été contrôlée, ou non.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_9').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.

Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé¹⁰Le communiqué de la CNAF daté du 27 janvier 2022 et intitulé « Aide à la détermination des dossiers allocataires nécessitant une vérification à l’aide d’un procédé de datamining » est disponible ici. La délibération de la CNIL du 24 mars 2010 est disponible ici. Il est à noter que l’algorithme a à priori grandement évolué depuis la délibération de la CNIL datant de plus de 12 ans. Comme nous l’expliquions ici, la délibération de la CNIl fait notamment référence à un modèle de lutte contre la fraude, alors que l’algorithme est aujourd’hui entraîné pour détecter les erreurs.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_10').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.

Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.

La discrimination : un savoir-faire à protéger

Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.

En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables¹¹Voir le (faux) Vrai/Faux dans ce document.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_11').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable¹²Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_12').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »¹³Voir la réponse de la CAF ici et le code source caviardé ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_13').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_13', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses?

A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.

Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »¹⁴Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_14').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_14', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Vingt ans de développement… et aucun compte-rendu de réunions

Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…¹⁵Voir la réponse de la CAF ici et le code source caviardé ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_15').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_15', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.

Le retour de l’alibi technique

A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme¹⁶Le document, publié sur le site de la CAF, est disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_16').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_16', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.

L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute¹⁷Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_17').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_17', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».

Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité¹⁸Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la ‘lutte contre l’assistanat’, et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250. Voir aussi le rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil, disponible ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_18').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_18', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.

Communication mensongère

La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.

A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…

A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de «prime sur leurs résultats», ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle¹⁹Voir par exemple l’annexe d’intéressement 2021 (ici) de la CAF spécifiant un objectif de fraudes détectées et un objectif de taux de recouvrement des indus non frauduleux. La tenue de ces objectifs impacte directement la prime d’intéressement des employé.e.s de la CAF.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_19').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_19', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire²⁰Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_20').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_20', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci.» Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».

Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité²¹Voir à ce sujet l’article de Lucie Inland disponible ici, cet article du Monde et le rapport du Défenseur des Droits «La lutte contre la fraude aux prestations sociales» disponible ici. La fondation Abbé Pierre, le Défenseur des droits et le collectif Changer de Cap ont par ailleurs collecté de nombreux témoignages décrivant la violence vécue par les allocataires lors des contrôles. Difficulté de recours, contrôles répétés, suspension automatique des prestations sociales, intrusion sans précédent dans les moindres recoins de la vie privée. Nous vous invitons à lire l’ensemble de ces témoignages disponibles ici. Voir aussi l’émission de Radio France « Secrets d’info » revenant sur ces questions et disponible ici et l’article l’accompagant ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_21').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_21', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.

Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »²²Voir notamment ici, ici et ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_22').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_22', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »²³Voir notamment ici, ici et ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_23').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_23', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours²⁴Voir notamment ce tweet.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_24').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_24', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Comme si l’application des techniques de profilage à des fins «positives» pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.

Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours²⁵Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_25').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_25', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »²⁶Rapport d’information de l’Assemblée Nationale sur l’évaluation des politiques publiques en faveur de l’accès aux droits sociaux, 2016. Disponible ici<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_26').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_26', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial²⁷Voir le tome 1 du rapport « Garantir un numérique inclusif : les réponses apportées par les opérateurs de la protection sociale » de l’ Inspection Générale des Affaires Sociales écrit en 2019 et disponible ici. Voir aussi le rapport de la DREES « Le non-recours aux prestations sociales » écrit en 2020 et disponibstyle= »pointer-events: none; » le ici et l’émission de Radio France ici ou ici pour l’article correspondant.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_27').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_27', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »²⁸Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_28').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_28', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.

Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.

Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF²⁹Voir le communiqué de nomination de la médiatrice nationale de la CNAF ici.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19639_2_29').tooltip({ tip: '#footnote_plugin_tooltip_text_19639_2_29', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); en juin 2022. Parmi ses missions: «la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information.» Et le communiqué accompagnant sa nomination ajoute qu’elle «sera également la référente nationale déontologie». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.

Lutter au-delà de la transparence

La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.

La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.

Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.

A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.

Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.

Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.

<script type="text/javascript"> function footnote_expand_reference_container_19639_2() { jQuery('#footnote_references_container_19639_2').show(); jQuery('#footnote_reference_container_collapse_button_19639_2').text('−'); } function footnote_collapse_reference_container_19639_2() { jQuery('#footnote_references_container_19639_2').hide(); jQuery('#footnote_reference_container_collapse_button_19639_2').text('+'); } function footnote_expand_collapse_reference_container_19639_2() { if (jQuery('#footnote_references_container_19639_2').is(':hidden')) { footnote_expand_reference_container_19639_2(); } else { footnote_collapse_reference_container_19639_2(); } } function footnote_moveToReference_19639_2(p_str_TargetID) { footnote_expand_reference_container_19639_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_19639_2(p_str_TargetID) { footnote_expand_reference_container_19639_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Il y a deux semaines, nous relayions le recours d’étudiant·es contre l’usage par l’institut d’études à distance de l’Université Paris 8 du logiciel de surveillance algorithmique des examens « TestWe », recours au soutien duquel La Quadrature est intervenue. Hier, dans une ordonnance particulièrement intéressante, le tribunal administratif de Montreuil a suspendu l’usage de ce logiciel.

La société TestWe, qui édite le logiciel du même nom, se vante de développer un outil qui permet de surveiller automatiquement tout·e candidat·e passant une épreuve à distance. Pour résumer, cette surveillance automatisée consiste à analyser algorithmiquement les candidat·es en train de passer une épreuve écrite en dehors des locaux de l’université : l’identité est vérifiée automatiquement au début et pendant l’épreuve, le regard est analysé en permanence, l’environnement immédiat est constamment scruté par analyse vidéo et sonore (voir notre analyse complète du logiciel). Il s’agit donc là d’un traitement de données personnelles, dont un certain nombre de données sensibles.

La procédure introduite par les étudiant·es et dans laquelle La Quadrature est intervenue consistait à demander, en référé (c’est-à-dire en procédure d’urgence), au tribunal administratif de suspendre l’utilisation du logiciel TestWe par l’institut d’études à distance de l’Université Paris 8.

Pour obtenir cette suspension, il fallait faire naître dans l’esprit du juge administratif un « doute sérieux ». C’est-à-dire démontrer qu’il est assez probable que ce logiciel soit illégal, en tout cas suffisamment pour qu’un examen bref de la situation (vu qu’il s’agit d’une procédure très rapide) permette de déceler une atteinte flagrante aux libertés ¹Ce même « doute sérieux » nous permettait, en 2020, d’obtenir la suspension de l’usage de drones par la préfecture de police de Paris.<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_19546_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_19546_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. C’est exactement ce qu’a constaté hier le tribunal administratif de Montreuil : TestWe est un logiciel qui est assez probablement disproportionné et ce doute justifie que son utilisation soit suspendue.

Quels étaient nos arguments juridiques ? Qu’un traitement de données comme TestWe doit respecter un certain nombre de conditions pour être légal. Parmi ces exigences, il y notamment celle que soit prouvées l’existence d’une base légale (c’est-à-dire que le traitement de données doit être autorisé par la loi), d’une finalité (c’est-à-dire l’objectif pour lequel le traitement est mis en œuvre) et d’une proportionnalité (c’est-à-dire que seules les données nécessaires à l’objectif doivent être traitées, ce qui est parfois appelé « principe de minimisation des données »). Dans nos écritures en soutien aux étudiant·es (une requête en intervention, une note en délibéré puis un mémoire en réplique à l’analyse d’impact hallucinante produite par l’Université), nous avons détaillé en quoi le logiciel TestWe ne reposait sur aucune base légale parmi celle prévue par le RGPD et était disproportionné par rapport à la finalité affichée, c’est-à-dire celle de la surveillance d’un examen à distance.

C’est ce deuxième point, la disproportion, qui a retenu l’attention du tribunal administratif. Il a estimé que le « doute sérieux » permettant d’ordonner la suspension de l’usage de TestWe réside dans le fait qu’il est probable que ce logiciel ne respecte pas l’exigence de minimisation des données du RGPD. Et c’est plutôt une bonne nouvelle que le juge soit sensible à cet argument : cela signifie que le périmètre des informations et données sur les étudiant·es que TestWe collecte est bien trop large et démesuré pour l’objectif poursuivi. En somme, ce n’est pas parce que les données existent ou sont disponibles qu’il est légal de les utiliser pour toute finalité. 

Une ordonnance aux différentes conséquences positives

Tout d’abord, réjouissons-nous que la surveillance algorithmique soit écartée de l’Université : en émettant des doutes quant à la légalité de ce genre de dispositif, le tribunal administratif de Montreuil a envoyé un avertissement à toutes les autres universités et écoles.

Également, au-delà de cette affaire, cette ordonnance ouvre surtout une brèche quant à la reconnaissance de la disproportion des dispositifs de surveillance algorithmique. En mai 2020, lorsque nous faisions interdire les drones du préfet Lallement, le Conseil d’État nous donnait raison parce qu’il constatait l’absence de base légale, c’est-à-dire l’absence d’autorisation par la loi. En décembre 2020, lorsque nous obtenions une nouvelle victoire, le Conseil d’État relevait à nouveau l’absence de base légale (il ajoutait aussi quelques considérations dénonçant le principe même de ce genre de dispositif, ce qui nous avait conduit à parler de « victoire totale »). Mais le problème des victoires obtenues grâce à un défaut de base légale est qu’elles ne durent jamais très longtemps : la loi se change et c’est ce que s’est empressé de faire le gouvernement avec la loi Sécurité globale (partiellement censurée par le Conseil constitutionnel) puis la loi de Sécurité intérieure (cette fois-ci validée par le Conseil constitutionnel).

Concernant TestWe, le tribunal administratif de Montreuil estime que le doute quant à la légalité du dispositif vient de sa probable absence de proportionnalité. C’est-à-dire qu’il reconnaît que surveiller les corps et les sons en permanence n’est pas justifié pour des examens à distance.

Or, depuis 2020, nous nous battons contre la vidéosurveillance algorithmique, qu’elle soit dans des grandes villes comme Marseille ou dans de petits bourgs comme à Moirans (en Isère). Nous nous battons également contre la surveillance sonore, face à la ville d’Orléans qui souhaite être pionnière dans ce domaine. Si ce genre de dispositif n’est actuellement pas autorisé par la loi, cette base légale manquante pourrait bien arriver, en tout cas pour la vidéosurveillance algorithmique, par la loi sur les JO 2024 qui se prépare à légaliser ces pratiques de surveillance de masse de l’espace public. Et c’est là tout l’apport de l’ordonnance sur TestWe : la proportionnalité de ce genre de surveillance algorithmique permanente est désormais sérieusement questionnée.

La victoire des étudiant·es devant le tribunal administratif de Montreuil nous permettra également de mieux nous opposer au souhait de la CNIL de rendre ces dispositifs de surveillance des examens légaux. Contrairement à ce que le juge a conclu, la CNIL souhaiterait consacrer un principe de proportionnalité de certaines surveillances vidéos et audio, et encourager l’usage d’algorithmes de détection de comportements.

Une lutte qui continue

Cette victoire en référé ne met pas un terme à la lutte. Le juge n’a pas dit que TestWe est illégal, simplement qu’il y a un doute sérieux quant à sa légalité. Nous poursuivons donc le combat aux côtés des étudiant·es de Paris 8 dans la procédure au fond (c’est à dire la procédure normale, longue et sans condition d’urgence) pour transformer l’essai et faire reconnaître définitivement par le tribunal administratif de Montreuil l’illégalité de TestWe. Cette décision au fond n’arrivera toutefois pas avant de longs mois.

Sur son site internet, l’entreprise TestWe se vante d’avoir pour clientes des institutions comme le CNED, l’ESSEC, le concours SESAME ou encore Grenoble École de Management. Nous appelons donc les étudiant·es de ces établissements, ainsi que ceux dont l’université ou l’école utiliserait un logiciel similaire à TestWe, mais également les professeur·es et enseignant·es, à poursuivre la lutte initiée par la mobilisation à Paris 8 : faites du bruit dans vos facs, réutilisez les arguments juridiques, créez le rapport de force. La victoire d’aujourd’hui n’attend que de se propager pour, in fine, bouter la Technopolice et toutes les idées qu’elle charrie hors des facs.

<script type="text/javascript"> function footnote_expand_reference_container_19546_2() { jQuery('#footnote_references_container_19546_2').show(); jQuery('#footnote_reference_container_collapse_button_19546_2').text('−'); } function footnote_collapse_reference_container_19546_2() { jQuery('#footnote_references_container_19546_2').hide(); jQuery('#footnote_reference_container_collapse_button_19546_2').text('+'); } function footnote_expand_collapse_reference_container_19546_2() { if (jQuery('#footnote_references_container_19546_2').is(':hidden')) { footnote_expand_reference_container_19546_2(); } else { footnote_collapse_reference_container_19546_2(); } } function footnote_moveToReference_19546_2(p_str_TargetID) { footnote_expand_reference_container_19546_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_19546_2(p_str_TargetID) { footnote_expand_reference_container_19546_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

La Quadrature appelle à soutenir la lutte d’un collectif d’étudiant·es de l’Université Paris 8 contre TestWe, la start-up qui veut technopoliser l’Université. Cette télésurveillance d’examens à distance est déshumanisante, discriminatoire et intrusive, en plus d’être très clairement illégale. À l’appel de ces étudiant⋅es, nous vous donnons rendez-vous le 6 décembre à 14h pour montrer devant le tribunal administratif de Montreuil une opposition massive. La Quadrature est intervenue devant le tribunal administratif pour soutenir cette lutte (lire notre intervention ici).

Si vous êtes aussi victime de telles technologies de surveillance par votre établissement d’enseignement, n’hésitez pas à nous envoyer un mail à contact@technopolice.fr pour nous faire part de votre témoignage.

Il y a deux ans, lors du premier confinement, nous alertions déjà sur la gestion autoritaire des examens à distance par les établissements d’enseignement supérieur.

TestWe, un système discriminatoire, intrusif et déshumanisant

Il est question ici de télésurveillance, c’est-à-dire que les élèves passent leur examens à distance, au même moment, et sous surveillance numérique et automatisée de l’établissement. L’une des entreprises les plus en vue dans ce domaine est TestWe, une start-up française qui étend les outils de surveillance algorithmique déjà déployés dans de nombreuses villes en France à la surveillance des examens.

Initialement, leur logiciel consistait à dématérialiser les épreuves : celles-ci se passaient dans un amphi mais les étudiant·es composaient sur leur ordinateur, fini l’examen papier. Depuis 2019, l’entreprise est passée de la dématérialisation à la surveillance à distance des étudiant.es

TestWe offre une multitude d’outils pour perfectionner cette surveillance : un système de reconnaissance faciale, c’est à dire de photographie de l’étudiant avec sa carte d’identité ou étudiant·e ou d’identité par webcam « pour vérifier que la bonne personne est en face de l’écran ». En complément, une surveillance à 360° de l’environnement de l’élève. Son PDG, Benoît Sillard, se vante ainsi de mettre « en place actuellement un système à double caméras, celle de l’ordinateur qui filme par l’avant, et celle de votre smartphone qui filme l’ensemble de la pièce, pour vérifier qu’il n’y a pas un deuxième ordinateur ou quelqu’un en train de vous souffler ». Les élèves utilisant TestWe se voient par ailleurs obligé·es de céder les droits administrateurs de leur ordinateur au logiciel, de désactiver leur pare-feu, antivirus, VPN. Évidemment, cela nécessite d’être équipé·e avec un ordinateur personnel récent, d’avoir une bonne connexion Internet mais l’exigence va au-delà : disposer d’une pièce (« pas trop éclairée ni trop sombre ») sans bruit et sans autre personne présente, pas même un enfant en bas âge ou un animal de compagnie, par exemple.

Après l’identification, TestWe veut vérifier que les étudiant·es ne puissent pas tricher. Dans sa version classique, les élèves sont photographiés toutes les trois secondes, les images analysées et tout comportement suspect fait l’objet d’un signalement à la plateforme. Avec la version avancée « ProctorWe », les candidat⋅e⋅s doivent aussi filmer la pièce, parfois avec une seconde caméra (et donc être équipé·es d’un smartphone en état de fonctionnement).

Iels ont aussi l’obligation de filmer leur cou ainsi que leurs oreilles, afin de vérifier l’absence d’oreillettes. Cette chasse à la triche n’a pas de limite. Les personnes avec les cheveux longs se voient demander de « dégager leurs oreilles », les personnes qui portent un voile se verraient accuser de fraude, et on ne sait pas ce qu’il est prévu pour les personnes malentendantes… Après identification, l’étudiant⋅e doit respecter une liste aberrante d’interdictions, définissant les comportements suspects et les d’objets qui ne doivent pas être présents dans la pièce.

Et la liste continue : obligation de fixer l’écran, interdiction de manger, d’aller aux toilettes, interdiction de tout bruit « suspect », non prise en compte des handicaps (qui n’ont pas été systématiquement signalés en vue d’un aménagement des conditions d’examen, puisque les étudiants pensaient déjà connaître les modalités auxquelles iels sont déjà habituées)…

C’est donc un véritable matraquage d’interdits bafouant la dignité auxquels devraient faire face les étudiant·es, qui déroge aux conditions d’examen en présentiel (il est quand même toujours possible d’avoir les cheveux détachés, de manger, d’aller aux toilettes, de porter un col roulé lors d’un examen en salle), en plus d’acter une rupture d’égalité entre les élèves (tout le monde ne peut pas posséder le matériel informatique dernier cri, occuper une pièce pendant plusieurs heures sans interruptions possibles). Et à tout cela, s’ajoute évidemment la violation de la vie privée des étudiants et des étudiantes, qu’il s’agisse de leur lieu de vie ou de leur matériel informatique.

Des dispositifs très clairement illégaux

Cette surveillance, constante, intrusive, mêlée de biométrie, et attentatoire aux déplacements ainsi qu’à la vie privée des élèves ne peut en aucun cas remplir les critères de proportionnalité exigés dans le règlement général sur la protection des données ou son application française, la loi Informatique et Libertés.

C’était d’ailleurs en partie le message de la CNIL qui, en pleine période Covid, avait notamment réagi à l’utilisation de TestWe en publiant un premier communiqué rappelant les règles à respecter en matière de vie privée et de surveillance d’examens à distance. Comme souvent, la CNIL semble s’être pour l’instant limitée à une communication sur le sujet et n’a pas, à notre connaissance, sanctionné les entreprises qui continuent à surveiller.
Cependant, dans ce document de 2020, la CNIL semblait condamner l’utilisation de TestWe en soulignant notamment que « n’apparaissent a priori pas proportionnés au regard de la finalité poursuivie :

• les dispositifs de surveillance permettant de prendre le contrôle à distance de l’ordinateur personnel de l’étudiant (notamment pour vérifier l’accès aux courriels ou aux réseaux sociaux) ;
• les dispositifs de surveillance reposant sur des traitements biométriques (exemple : reconnaissance faciale via une webcam). »

Or, si un système n’est pas proportionné, il devient purement illégal, et c’est clairement le cas ici.
Cependant, la CNIL semble aujourd’hui assouplir sa position. Elle vient ainsi, au moment de la publication de cet article, de publier un projet de recommandation sujet à consultation. Ce projet de recommandation promeut une interprétation très permissive du droit à la vie privée en donnant aux entreprises, et particulièrement à TestWe, le bon chemin pour mettre en place son système de surveillance hyper-intrusif (quelle base légale utiliser, comment justifier la reconnaissance faciale…).
Elle va jusqu’à déclarer quels traitements seraient, a priori et de facto, proportionnés.

Malgré l’illégalité de ces pratiques, TestWe continue pourtant, comme une grande partie des entreprises de la surveillance, à se faire de l’argent sur le dos des étudiant·es et de l’Université en contradiction frontale avec les plus élémentaires dispositions du droit à la vie privée et aux données personnelles.

TestWe, profiteur de crise sanitaire

Autre constat, surveiller les étudiant⋅es cela rapporte, et beaucoup. Si l’on s’en tient au chiffre d’affaires déclaré, TestWe aura plus que triplé son chiffre d’affaires entre 2019 et 2020, année du premier confinement, passant de 285.000 euros en 2019 à plus de 928.000 euros en 2020.

Non seulement cela rapporte en terme de chiffre d’affaires, mais cela aide aussi en terme d’investissement. TestWe ne s’est bien évidemment pas lancée toute seule. En juillet 2017, c’est la Banque Publique d’Investissement qui, avec d’autres acteurs financiers, a décidé d’investir dans la start-up en leur donnant 1,3 million d’euros pour lancer leur business sécuritaire. L’accroche ? Le gain de coût à organiser des examens en ligne, avec des robots, et non en salle avec des humain·es : « Avec la digitalisation, on peut diviser par 5 le nombre de personnes affectées à cette tâche ».

Et le succès ne faiblit malheureusement pas : si on en croit la page Linkedin de l’entreprise, ce sont plusieurs dizaines d »universités et d’écoles en majorité privées qui se mettent à utiliser ce système de surveillance biométrique.

Après quelques recherches cependant, il semblerait qu’une bonne partie des établissements du supérieur présents sur le site internet de TestWe n’utilise pas la télésurveillance de l’entreprise mais ont été des clients de la dématérialisation des examens. Seule trace, c’est l’UCLouvain, qui aurait fait l’expérience de la télésurveillance de TestWe lors d’un examen blanc et qui ne l’a pas retenu, évoquant même un « fiasco ».

De la surveillance au greenwashing

Le greenwashing est à la mode et les entreprises de la Technopolice prennent le train en marche ! En plus d’être discriminatoire, intrusif et déshumanisant, le contrôle imposé par TestWe rendrait « obsolète l’examen en salle dans la majorité des cas […] Les candidats sont de plus en plus réticents au stress et sensibles aux problèmes de transport et d’écologie. ». Mais derrière ce discours, les arguments ne tiennent pas : les questions écologiques seraient incompatibles avec le respect des droits fondamentaux et de la dignité humaine. Il est tout de même aberrant de justifier la surveillance par un argument pseudo-vert, quand on sait les coûts incommensurables que représente le numérique dans la pollution des terres à l’autre bout du monde pour produire les objets technologiques, la quantité d’électricité requise dont la part consacrée au numérique est sans cesse en augmentation et, on imagine, tout ce qu’il est nécessaire pour rendre possible des solutions comme TestWe, les quantités de données, d’heures de vidéos conservées afin de surveiller en direct toutes les étudiant·e⋅s.

La lutte des étudiant⋅es contre l’enseignement technopolisé

C’est désormais à l’Institut d’études à distance de Paris 8 d’imposer ces logiciels invasifs, discriminatoires et illégaux et ce, sans aucun dialogue ni possibilité d’opposition de la part des personnes concernées. En effet, fin octobre, la direction de Paris 8 a annoncé aux étudiant·es à distance qu’iels devraient passer leurs examens de janvier sur TestWe sans donner aucune précision sur les modalités de mise en place de cette plateforme. En réaction, un collectif d’étudiant·es s’est rassemblé, a effectué un important travail de documentation du logiciel, de communication auprès des étudiant.e.s et a même lancé une action en justice. Ainsi, après avoir contacté la CNIL, saisit le Défenseur des droits, signé collectivement une lettre d’inquiétude à la direction, le collectif s’est cotisé pour faire appel à un avocat et a décidé de médiatiser l’affaire. Le Tribunal administratif de Montreuil a été saisi en référé pour faire suspendre les décisions de l’IED et enjoindre l’Université à revenir aux conditions initiales d’examen. Une requête au fond a également été déposée pour obtenir une décision plus pérenne.

La Quadrature a déposé une intervention volontaire dans ces recours et nous leur témoignons tout notre soutien ! Vous trouverez nos écritures là.

Nous relayons des extraits de leur communiqué, expliquant la démarche des étudiants et étudiantes de l’IED. Vous pouvez en trouver la version complète ici.

La menace n’est même pas masquée : si TestWe n’est pas retenu, les examens se feront en présentiel et basculeront d’un système semestriel à un système annuel, privant par là-même les L3 de Droit et de Psychologie de candidature en Master. Ils perdraient donc une année. L’objectif de cette communication était bien évidemment de diviser les étudiants contre ceux qui ont exercé leurs droits, tout en évitant à la direction de remettre en question son fonctionnement illégal et liberticide.
L’objectif de l’action juridique est donc de suspendre les décisions illégales de l’IED et de leur faire injonction de revenir à ce qui était prévu en début d’année, à savoir : la passation des examens 2022-2023 à distance et sur la plateforme Moodle.
Il va également de soi que ces nouvelles conditions matérielles de passation des examens représentent une rupture d’égalité de traitement entre les étudiants, tout le monde ne pouvant pas se procurer le matériel à la dernière minute, ni contrôler la stabilité du réseau internet dont il dispose.
Les modalités d’usage imposées par TestWe constituent une véritable atteinte à la vie privée puisque les étudiants vont devoir se plier à une quarantaine d’interdits ou d’obligations liberticides à implémenter chez eux. Elles représentent également une atteinte à la protection des données, sachant que chacun devra désactiver tout pare-feu et anti-virus, laissant ainsi ses données exposées pendant que TestWe exploite les droits administrateurs. Enfin, elles ne ne se font pas dans le cadre d’un consentement libre : les CGU restent inaccessibles tant que le logiciel n’est pas installé. Les droits fondamentaux des individus sont également en jeu. Les personnes de confessions juives ou musulmanes sont impactées par l’obligation de garder tête, oreilles et cou découverts. Par ailleurs, le fait d’être pris en photo toutes les trois secondes porte directement atteinte au droit de l’image. Enfin, plusieurs interdictions totalement disproportionnées (comme, par exemple, manger, aller aux toilettes ou détourner les yeux de l’ordinateur) ne respectent pas la dignité humaine.
Certains étudiants se retrouvent dans des conditions particulièrement difficiles. Nous sommes notamment sensibles aux difficultés des étudiants en situation de handicap, ainsi qu’à tous les étudiants, largement majoritaires, pour qui l’IED représente leur unique chance de faire ces études.

Ces tentatives de nous imposer une télésurveillance liberticide, non respectueuse de la vie privée, de la protection des données personnelles et des contrats pédagogiques que nous avons signés, sont le reflet de l’absence de considération de l’IED envers ses étudiants. Nous ne nous laisserons pas faire.