Retrouvez l’ensemble de nos publications, documentations et prises de positions sur l’utilisation par les organismes sociaux – CAF, Pôle Emploi, Assurance Maladie, Assurance Vieillesse – d’algorithmes à des fins de contrôle social sur notre page dédiée et notre gitlab.
Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérement la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.
À la remise en question, les responsables de la CAF ont préféré la fuite en avant. La première étape fut un contre-feu médiatique où son directeur, Nicolas Grivel, est allé jusqu’à déclarer publiquement qu’il n’avait ni « à rougir » ni à s’« excuser » de telles pratiques. La deuxième étape, dont nous venons de prendre connaissance<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, est bien plus inquiétante. Car parallèlement à ses déclarations, ce dernier cherchait à obtenir l’autorisation de démultiplier les capacités de surveillance de l’algorithme via l’intégration du suivi en « temps réel »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); des revenus de l’ensemble des allocataires. Autorisation qu’il a obtenue, avec la bénédiction de la CNIL, le 29 janvier dernier<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
Surveillance et « productivité » des contrôles
Pour rappel, le revenu est une des quelques quarante variables utilisées par la CAF pour noter les allocataires. Comme nous l’avions montré, plus le revenu d’un·e allocataire est faible, plus son score de suspicion est élevé et plus ses risques d’être contrôlé·e sont grands. C’est donc un des paramètres contribuant directement au ciblage et à la discrimination des personnes défavorisées.
Jusqu’à présent, les informations sur les revenus des allocataires étaient soit récupérées annuellement auprès des impôts, soit collectées via les déclarations trimestrielles auprès des allocataires concerné·es (titulaires du RSA, de l’AAH…)<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_5').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Désormais, l’algorithme de la CAF bénéficiera d’un accès en « temps réel » aux ressources financières de l’ensemble des 12 millions d’allocataires (salaires et prestations sociales).
Pour ce faire, l’algorithme de la CAF sera alimenté par une gigantesque base de données agrégeant, pour chaque personne, les déclarations salariales transmises par les employeurs ainsi que les prestations sociales versées par les organismes sociaux (retraites, chômage, RSA, AAH, APL…)<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_6').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); : c’est le « Dispositif des Ressources Mensuelles » (DRM). Cette base, créée en 2019 lors de mise en place de la réforme de la « contemporanéisation » des APL<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_7').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, est mise à jour quotidiennement, et offre des capacités inégalées de surveillance des allocataires.
La justification d’une telle extension de la surveillance à l’œuvre à des fins de notation des allocataires est d’accroître la « productivité du dispositif [de l’algorithme] » selon les propres termes des responsables de la CAF<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_8').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Qu’importe que se multiplient les témoignages révélant les violences subies par les plus précaires lors des contrôles<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_9').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Qu’importe aussi que les montants récupérés par l’algorithme soient dérisoires au regard du volume des prestations sociales versées par l’institution<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_10').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Les logiques gestionnaires ont fait de la course aux « rendements des contrôles » une fin en soi à laquelle tout peut être sacrifié.
Que cette autorisation soit donnée à titre « expérimental », pour une période d’un an, ne peut être de nature à nous rassurer tant on sait combien le recours aux « expérimentations » est devenu un outil de communication visant à faciliter l’acceptabilité sociale des dispositifs de contrôle numérique<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_11').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
La CNIL à la dérive
La délibération de la CNIL qui acte l’autorisation accordée à la CAF de ce renforcement sans précédent des capacités de surveillance de son algorithme de notation laisse sans voix<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_12').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Loin de s’opposer au projet, ses recommandations se limitent à demander à ce qu’une attention particulière soit « accordée à la transparence » de l’algorithme et à ce que… le « gain de productivité du dispositif » fasse l’objet d’un « rapport circonstancié et chiffré ». La violation de l’intimité des plus de 30 millions de personnes vivant dans un foyer bénéficiant d’une aide de la CAF est donc ramenée à une simple question d’argent…
Nulle part n’apparaît la moindre critique politique d’un tel dispositif, alors même que cela fait plus d’un an que, aux côtés de différents collectifs et de la Défenseure des Droits, nous alertons sur les conséquences humaines désastreuses de cet algorithme. La CNIL alerte par contre la CNAF sur le risque médiatique auquelle elle s’expose en rappelant qu’un scandale autour d’un algorithme en tout point similaire a « conduit le gouvernement néerlandais à démissionner en janvier 2021 ». Une illustration caricaturale de la transformation du « gendarme des données » en simple agence de communication pour administrations désireuses de ficher la population.
On relèvera également un bref passage de la CNIL sur les « conséquences dramatiques » du risque de « décisions individuelles biaisées » conduisant l’autorité à demander à ce que l’algorithme soit « conçu avec soin ». Celui-ci démontre – au mieux – l’incompétence technique de ses membres. Rappelons que cet algorithme ne vise pas à détecter la fraude mais les indus ayant pour origine des erreurs déclaratives. Or, ces erreurs se concentrent, structurellement, sur les allocataires aux minima sociaux, en raison de la complexité des règles d’encadrement de ces prestations<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_13').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_13', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Le ciblage des plus précaires par l’algorithme de la CAF n’est donc pas accidentel mais nécessaire à l’atteinte de son objectif politique : assurer le « rendement des contrôles ». La seule façon d’éviter de tels « biais » est donc de s’opposer à l’usage même de l’algorithme.
Pire, la CNIL valide, dans la même délibération, l’utilisation du DRM à des fins de contrôle de nos aîné·es par l’Assurance Vieillesse (CNAV)… tout en reconnaissant que l’algorithme de la CNAV n’a jamais « fait l’objet de formalités préalables auprès d’elle, même anciennes »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_14').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_14', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Soit donc qu’il est probablement illégal. Notons au passage que le rapporteur de la CNIL associé à cette délibération n’est autre que le député Philippe Latombe, dont nous avons dû signaler les manquements déontologiques auprès de la CNIL elle-même du fait de ses accointances répétées et scandaleuses avec le lobby sécuritaire numérique<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_15').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_15', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.
« Solidarité » à la source et contrôle social : un appel à discussion
Si nous ne nous attendions pas à ce que le directeur de la CAF abandonne immédiatement son algorithme de notation des allocataires, nous ne pouvons qu’être choqué·es de voir que sa seule réponse soit de renforcer considérablement ses capacités de surveillance. C’est pourquoi nous appelons, aux côtés des collectifs avec qui nous luttons depuis le début, à continuer de se mobiliser contre les pratiques numériques de contrôle des administrations sociales, au premier rang desquelles la CAF.
Au-delà du mépris exprimé par la CAF face à l’opposition grandissante aux pratiques de contrôle, cette annonce met en lumière le risque de surveillance généralisée inhérent au projet gouvernemental de « solidarité » à la source. Présenté comme la « grande mesure sociale » du quinquennat<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_16').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_16', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, ce projet vise à substituer au système déclaratif une automatisation du calcul des aides sociales via le pré-remplissage des déclarations nécessaires à l’accès aux prestations sociales.
Étant donné la grande complexité des règles de calculs et d’attribution de certaines prestations sociales – en particulier les minima sociaux – cette automatisation nécessite en retour que soit déployée la plus grande infrastructure numérique jamais créée à des fins de récolte, de partage et de centralisation des données personnelles de la population française (impôts, CAF, Assurance-Maladie, Pôle Emploi, CNAV, Mutualités Sociales Agricoles….). De par sa taille et sa nature, cette infrastructure pose un risque majeur en termes de surveillance et de protection de la vie privée.
Et c’est précisément à cet égard que l’autorisation donnée à la CAF d’utiliser le DRM pour nourrir son algorithme de notation des allocataires est emblématique. Car le DRM est lui-même une pierre angulaire du projet de « solidarité » à la source<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_17').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_17', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); – sa « première brique » selon les termes du Premier ministre – dont il constitue le socle en termes de centralisation des données financières<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_18').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_18', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Or, si sa constitution avait à l’époque soulevé un certain nombre d’inquiétudes<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_19').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_19', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, le gouvernement s’était voulu rassurant. Nulle question qu’il soit utilisée à des fins de contrôle : ses finalités étaient limitées à la lutte contre le non-recours et au calcul des prestations sociales<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_23078_2_20').tooltip({ tip: '#footnote_plugin_tooltip_text_23078_2_20', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Cinq années auront suffit pour que ces promesses soient oubliées.
Nous reviendrons très prochainement sur la solidarité à la source dans un article dédié. Dans le même temps, nous appelons les acteurs associatifs, au premier titre desquels les collectifs de lutte contre la précarité, à la plus grande prudence quant aux promesses du gouvernement et les invitons à engager une discussion collective autour de ces enjeux.
<script type="text/javascript"> function footnote_expand_reference_container_23078_2() { jQuery('#footnote_references_container_23078_2').show(); jQuery('#footnote_reference_container_collapse_button_23078_2').text('−'); } function footnote_collapse_reference_container_23078_2() { jQuery('#footnote_references_container_23078_2').hide(); jQuery('#footnote_reference_container_collapse_button_23078_2').text('+'); } function footnote_expand_collapse_reference_container_23078_2() { if (jQuery('#footnote_references_container_23078_2').is(':hidden')) { footnote_expand_reference_container_23078_2(); } else { footnote_collapse_reference_container_23078_2(); } } function footnote_moveToReference_23078_2(p_str_TargetID) { footnote_expand_reference_container_23078_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_23078_2(p_str_TargetID) { footnote_expand_reference_container_23078_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }