Alors qu’il se prétend protecteur de nos libertés, le projet de texte sur l’intelligence artificielle de l’Union européenne, présenté par Margrethe Vestager, veut en réalité favoriser le développement tous azimuts de l’IA, notamment sécuritaire.

Grevé d’exceptions, reposant sur une approche éculée de la gestion des risques et reprenant le discours du gouvernement français sur la nécessité de multiplier les expérimentations, ce texte doit être modifié en profondeur. Dans son état actuel, il risque de mettre en danger les maigres protections légales qu’offre le droit européen face au déploiement massif de techniques de surveillance dans l’espace public.

Le 21 avril 2021, la Commission européenne a publié une proposition de règlement pour une « approche européenne » autour de l’intelligence artificielle (IA), accompagnée d’un nouveau plan de coordination devant guider l’action des États membres pour les années à venir.

Au-delà de ces effets d’annonce de l’exécutif européen, la proposition de règlement est largement insuffisante au regard des menaces que représentent les systèmes d’IA pour les libertés fondamentales. Derrière le récit héroïque que propose la Commission européenne, se dissimule une attaque sournoise contre le droit européen à la protection des données personnelles, à travers une remise en question des principes acquis du RGPD et de la directive police-justice.

Accélérer le déploiement de l’IA sécuritaire

Loin de suspendre l’ensemble des systèmes d’IA violant manifestement le droit européen (comme les systèmes de reconnaissance faciale – nous en parlions ici) cette proposition se limite dans un premier temps (article 5) à interdire quatre « usages » spécifiques, tout en offrant de larges exemptions aux autorités nationales.

Sont visées par cette fausse interdiction, en très résumé, des IA de techniques « subliminales » ou exploitant la vulnérabilité des personnes pour « altérer substantiellement leur comportement », des IA de crédit social et des IA d’identification biométrique. En réalité, ces interdictions sont si limitées [pourquoi seulement ces quatre techniques, et pas plus ?] et si mal définies qu’on aurait presque l’impression que le but de la Commission européenne est d’autoriser le maximum de dispositifs plutôt que de véritablement en interdire certains (voir notamment à ce sujet l’analyse complète d’EDRi sur le texte).

L’exemple de l’identification biométrique est particulièrement parlant (le Considérant 23 du texte nous apprend que cette partie est d’ailleurs « lex specialis », c’est-à-dire qu’elle vient remplacer le droit existant sur la question des données biométriques). Est ainsi interdite l’utilisation d’un système d’identification biométrique « en temps réel » à des fins répressives sauf s’il est utilisé pour, notamment, rechercher des « victimes potentielles spécifiques de la criminalité » ou la « prévention d’une menace spécifique, substantielle et imminente pour la vie (…) des personnes physiques » ou la « prévention d’une attaque terroriste »… On le comprend, avec des exceptions aussi larges, cette interdiction est en réalité une autorisation, et en rien une interdiction, de la reconnaissance faciale.

Reprise du discours de l’industrie sécuritaire

Cette partie vient par ailleurs inscrire dans les textes une distinction voulue par les lobbys de l’industrie sécuritaire depuis longtemps, la distinction entre une surveillance biométrique en « temps réel » et une autre « a posteriori », la seconde étant censée être moins grave que la première. Cette distinction n’a pourtant aucun fondement : quelle différence entre une reconnaissance faciale de masse pratiquée dans l’instant ou quelques heures plus tard ?

Qu’importe, pour les rédacteur·ices du texte, la surveillance « en temps réel » est présentée comme étant interdite et celle « a posteriori » autorisée par principe (article 6). Une telle distinction est surtout une belle manière de rassurer certaines polices européennes (la France en tête) qui pratiquent déjà massivement la reconnaissance faciale.

La réutilisation de l’argumentaire porté par l’industrie sécuritaire ne s’arrête d’ailleurs pas là et s’illustre également à travers les exceptions admises pour cette surveillance biométrique en temps réel. L’utilisation de la reconnaissance faciale pour retrouver des « victimes potentielles spécifiques de la criminalité » comme des « enfants disparus » ou pour prévenir une attaque terroriste était ainsi exactement ce que demandaient les politiques et l’industrie pro-sécuritaire depuis plusieurs années.

Autorisations par principe

Alors que les précédentes versions du projet de règlement visaient à proscrire les systèmes d’IA permettant une surveillance généralisée des individus (on parlait en 2020 de « moratoire »), le texte finalement avalisé par le collège des commissaires élude largement la question de la surveillance indiscriminée, suggérant que l’exécutif européen a une nouvelle fois plié face à l’agenda sécuritaire des gouvernements européens.

Cet aveu d’échec se manifeste également à travers le choix fait par la Commission européenne dans les technologies qu’elle considère ne pas mériter une interdiction mais comme étant simplement à « haut risque ». Il s’agit par exemple des technologies de détection de mensonge, d’analyse d’émotions, de police prédictive, de surveillance des frontières… La liste de ces technologies à haut risque, ainsi qu’une partie des obligations auxquelles elles devraient se conformer, ne sont d’ailleurs pas détaillées dans le corps du texte mais dans des annexes que la Commission européenne se donne le droit de modifier unilatéralement.

Ces technologies ne sont donc pas interdites mais bien autorisées par principe, et simplement sujettes à des obligations supplémentaires (articles 6 et suivants¹Voir notamment l’article 8 : « Les systèmes d’IA à haut risque respectent les exigences établies dans le présent chapitre. »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17707_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17707_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });).

Des analyses d’impact plutôt que des interdictions

Les garde-fous proposés pour réguler ces technologies sont largement insuffisants pour garantir un contrôle efficace de leurs usages, simplement pour la bonne raison que la plupart de ces systèmes ne font l’objet que d’un système d’auto-certification. Si cette approche, fondée sur l’analyse des risques, est destinée à rassurer le secteur privé, elle ne permet aucunement de garantir que les fournisseurs de systèmes d’IA respectent et protègent les droits humains des individus (voir à ce titre l’analyse de l’association Access Now).

La Commission européenne veut ici construire un droit de l’analyse d’impact : chaque dispositif pourra être déployé si la personne responsable a réalisé elle-même une « évaluation ex ante » de la conformité de son dispositif au droit européen. Mais les analyses d’impact ne limiteront pas le déploiement de la Technopolice. Les industriel·les et les collectivités ont l’habitude d’en faire et cela leur convient très bien. C’était le cas pour la reconnaissance faciale à Nice où la mairie avait transmis son analyse à la CNIL quelques jours avant son déploiement.

La Commission a ainsi fait un nouveau saut qualitatif dans ses efforts pour une « meilleure réglementation » en anticipant et satisfaisant, avant même le début des négociations, les campagnes de lobbying des géants du numérique au cours des années à venir.

Moins de recours pour les citoyen·nes, plus de déshumanisation

Il est également troublant d’observer qu’aucune disposition du texte n’offre de recours aux citoyen·nes vis-à-vis du déploiement de ces systèmes, la proposition se focalisant principalement sur la relation entre les entreprises fournissant ces systèmes et leurs client·es. Les quelques obligations de transparence ne visent d’ailleurs jamais la société civile mais des « autorités nationales » qu’il reste encore à désigner. Encore une fois, c’est presque déjà ce qu’il se passe en France : une grande partie des expérimentations mentionnées dans Technopolice (voir la carte) ont fait l’objet d’une communication avec la CNIL. Néanmoins, celle-ci ne rendant aucune de ces informations publiques, c’est à la société civile qu’il revient de demander la publication de ces échanges en vue de dénoncer ces dispositifs. Aucun changement n’est donc à espérer de ce côté.

La prise en compte de la société civile devrait pourtant être au cœur de l’approche européenne autour de l’intelligence artificielle, comme le rappelaient récemment des dizaines d’organisations de défense des droits humains.

Expérimenter pour normaliser

Autre preuve qu’il ne s’agit pas ici d’interdire mais, bien au contraire, de faciliter le développement de l’IA pour les grands industries, l’article 53 du règlement veut forcer les gouvernements à développer des « bacs à sable réglementaires de l’IA ». L’idée derrière : créer un environnement « qui facilite le développement, la mise à l’essai et la validation des systèmes d’IA », ou autrement dit, alléger l’industrie, notamment dans le secteur de la sécurité, des lourdes contraintes dues à la protection de nos droits et libertés pour leur permettre d’expérimenter plus facilement.

Il suffit de lire la réaction plus qu’enthousiaste d’un ancien de Thalès et d’Atos, Jean-Baptiste Siproudhis, à cette proposition, pour se douter que quelque chose ne va pas. À le voir parler des entreprises qui « deviendront demain une source principale d’inspiration directe des nouvelles normes » pour faire du règlement « une boucle du progrès », on ne peut que s’inquiéter de cette soumission du législateur aux désirs des industries.

Surtout que la situation peut encore se dégrader : plusieurs États membres veulent maintenant un texte séparé pour l’IA policière avec, on s’en doute, des interdictions encore plus floues et des exceptions encore plus larges.

Loin d’ouvrir « la voie à une technologie éthique dans le monde entier » selon les mots de la vice-présidente de la Commission Margrethe Vestager, ce plan consolide donc un agenda politique dicté par l’industrie sécuritaire où l’introduction de l’IA est nécessaire et inéluctable pour des pans entiers de la société, et repose sur une vision fantasmée et naïve de ces technologies et des entreprises qui les fournissent.

<script type="text/javascript"> function footnote_expand_reference_container_17707_2() { jQuery('#footnote_references_container_17707_2').show(); jQuery('#footnote_reference_container_collapse_button_17707_2').text('−'); } function footnote_collapse_reference_container_17707_2() { jQuery('#footnote_references_container_17707_2').hide(); jQuery('#footnote_reference_container_collapse_button_17707_2').text('+'); } function footnote_expand_collapse_reference_container_17707_2() { if (jQuery('#footnote_references_container_17707_2').is(':hidden')) { footnote_expand_reference_container_17707_2(); } else { footnote_collapse_reference_container_17707_2(); } } function footnote_moveToReference_17707_2(p_str_TargetID) { footnote_expand_reference_container_17707_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17707_2(p_str_TargetID) { footnote_expand_reference_container_17707_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

En Europe, nous avons récemment confirmé le droit pour toutes et tous de choisir librement la manière dont on souhaite se connecter au réseau Internet à travers  la liberté de choisir son routeur. 

Le routeur, c’est ce qu’on appelle communément une box, comme celles que proposent les fournisseurs d’accès internet, comme les Livebox ou autres Freebox. Cette box, ou routeur, est avant tout un ordinateur : c’est  elle qui va se charger d’établir un lien entre notre logement et le reste du réseau de l’opérateur, et donc Internet. D’ailleurs, que ce soit pour de la fibre, de l’ADSL ou la 4G, nous avons dans tous les cas besoin de ce routeur, qui est parfois intégré à des smartphones et ordinateurs. 

Historiquement, nous avons milité pour la neutralité du net. Un peu comme on peut envoyer une lettre, et quel que soit son contenu, elle sera livrée sans discrimination. Sur Internet, il s’agit donc de pouvoir transmettre et accéder à n’importe quelle information de la même façon. C’est l’inverse des abonnements qui incluent par exemple un accès illimité à des plateformes de vidéo, tout en limitant l’accès au reste d’Internet. Donc c’est ne pas : (1) bloquer, (2) ralentir ou (3) faire payer de manière différenciée l’accès aux contenus.

Or le routeur est un élément essentiel de cette liberté. D’une part parce que ses performances peuvent grandement impacter notre liberté de connexion ; d’autre part parce que qui contrôle cette boîte, contrôle ce qui peut passer dedans – et surtout, peut voir ce qui passe dedans, avec toutefois des limites. Utiliser HTTPS et/ou un VPN permet de limiter cette surveillance. On peut aussi mentionner l’obsolescence programmée, ou encore, le fait de nous pousser à devoir payer des fonctionnalités qui ne sont pas forcément dans notre intérêt, comme un système multimédia, ou domotique. 

Nous devons donc, comme en ce qui concerne nos ordinateurs et smartphones, pouvoir choisir nos routeurs,  et pouvoir décider des logiciels et fonctionnalités de nos routeurs. La loi Européenne le permet : c’est à présent à l’Autorité de Régulation des Communications Électroniques et des Postes (ARCEP) de faire respecter cette loi, aux opérateurs de nous laisser la liberté de choisir, et à nous de faire usage de cette liberté. On pense aussi à l’usage de logiciels libres pour cela. Au final, choisir son routeur, ou tout autre matériel informatique, ainsi que choisir un logiciel libre qui tourne dessus sont deux faces d’un même combat pour la liberté informatique.

En solidarité avec le combat de la Free Software Foundation Europe (FSFE), nous relayons donc aujourd’hui sa campagne visant à faire connaître cette possibilité de liberté. Apprenez-en plus sur leurs positions  et comment défendre cette liberté (en anglais).

« The Internet » by Martin Deutsch is licensed under CC BY-NC-ND 2.0 

Dans un récent épisode du feuilleton « l’application TousAntiCovid, le pistage et nous », trois informaticiens ont publié le 19 août 2021 une analyse de risque du système de collecte de statistiques de l’application TousAntiCovid. Ils y rapportent que l’application ne remplit pas ses promesses en termes d’anonymat et de protection de la vie privée des utilisateur·ice·s : trop de statistiques d’utilisation sont collectées et envoyées au serveur.

Ces statistiques doivent permettre, comme l’annonçait le décret n° 2021-157 du 12 février 2021 décrivant les finalités de l’application TousAntiCovid, d’« adapter les mesures de gestion nécessaires pour faire face à l’épidémie et d’améliorer les performances de l’application ». Or ces données rendent aussi possibles l’identification des utilisateur·ice·s et la déduction des informations de santé les concernant.

Nous parlons régulièrement de l’usage de nos données personnelles par les entreprises à des fins commerciales ou politiques, par exemple pour sélectionner la publicité et les informations que nous recevons. Mais dans de nombreux cas, la collecte de données des utilisateur·ice·s est destinée, parfois exclusivement, à la conception et au développement des services eux-mêmes. Le recours à ce système de statistiques d’utilisation, appelé communément télémétrie, est devenue la norme dans l’industrie.

Comment et pourquoi mesure-t-on ainsi en permanence les comportements et les réactions des utilisateur·ice·s ? L’objet de cette réflexion n’est pas de déterminer si et comment la collecte d’informations peut être faite de manière à respecter rigoureusement la vie privée ou le consentement des personnes, mais bien d’interroger cette logique-même de collecter des données, en grande quantité et en permanence, à partir du cas du développement de produits dans l’industrie informatique.

Qu’est-ce que la télémétrie ?

La télémétrie est un système au sein d’un logiciel qui permet de mesurer des données relatives à son utilisation et à ses performances. Ces mesures sont ensuite transmises à distance à un service en charge de les collecter. Dans les logiciels informatiques, ces données sont utilisées afin d’informer sur le bon fonctionnement du logiciel, de manière ponctuelle ou continue (crashes de l’application, temps de démarrage, affichage de certaines pages, utilisation de certaines fonctions, etc.). La télémétrie peut aussi renseigner sur les usages des utilisateur·ice·s (quelles fonctionnalités sont utilisées ou pas, quels sont les temps d’utilisation) pour orienter les concepteur·ice·s à faire des choix d’évolution dans le logiciel.

Contrairement aux pratiques plus traditionnelles de recherche marketing et expérience utilisateur·ice telles que les entretiens en personne ou la tenue de journaux d’utilisation par écrit, cette collecte d’information à distance permet d’analyser rapidement les tendances d’utilisation, et ceci à grande échelle. Elle s’inscrit donc parfaitement dans un cycle de développement de produit court et itératif, quasiment en temps réel, qui permet de proposer des évolutions fréquentes du logiciel. Ces dernières années, cette pratique s’est imposée dans l’industrie logicielle.

Cas d’utilisation de la télémétrie

Concrètement, on retrouve de la télémétrie à peu près partout : systèmes d’exploitation, applications, logiciels tiers, qu’ils soient propriétaires ou libres. La télémétrie permet à un éditeur de logiciel de savoir comment son logiciel se comporte une fois installé et pris en main par ses utilisateur·ice·s — et vice-versa : il peut observer comment ses utilisateur·ice·s se comportent avec le logiciel. Dans le meilleur des cas, la télémétrie est soumise au consentement de ses utilisateur·ice·s et ne stocke pas de données personnelles sensibles permettant de les identifier.

Historiquement, la télémétrie a été développée en ingénierie pour mesurer le fonctionnement des machines à distance. Grâce à des capteurs électriques, on devient capable de mesurer des grandeurs physiques telles que la pression, la température ou la résistance électrique et de les transmettre. En météorologie, la radiosonde s’embarque ainsi sur des ballons et transfère des mesures de l’atmosphère. En aérospatiale, la télémétrie permet de surveiller le fonctionnement des satellites depuis la Terre. Dans le secteur de l’automobile, elle est utilisée de longue date pour optimiser les performances des voitures de course et s’invite désormais sur les modèles grand public pour recueillir des informations sur la conduite (comme le système R.S Monitor de chez Renault). Le monde médical et les recherches en sciences du vivant développent elles aussi leurs outils de biotélémétrie (par exemple pour surveiller le rythme cardiaque de patient·es).

Le développement de l’informatique, des logiciels embarqués et des objets connectés (Internet des objets, capteurs connectés) facilite l’extension de la télémétrie à de nombreux usages. Ainsi, la télémétrie d’une application sur un smartphone peut avoir accès aux données d’utilisation de l’application logicielle, mais aussi des mouvements du téléphone (accéléromètre, localisation GPS) et de l’environnement (captation sonore et vidéo).

Le monde enchanté du « data-driven »

La télémétrie s’inscrit dans un contexte où une approche dite « data-driven », ou orientation par les données, perfuse actuellement les pratiques de conception et de développement de produit et de management  : on parle ainsi de « data-driven design », « data-driven marketing », « data-driven management », « data-driven security » et ainsi de suite.

L’approche data-driven consiste à utiliser des données collectées pour prendre des décisions. À grand renfort de journaux (« logs »), d’indicateurs, d’« analytics », de statistiques d’utilisation et de tableaux de bord, l’approche data-driven a pour ambition de faciliter les prises de décision en les basant sur des données qui auraient valeur de preuves. Elle promet une méthode plus rigoureuse et plus scientifique, basée sur des faits observables plutôt que des intuitions et des opinions, afin d’éviter les conséquences dommageables des biais que les personnes en charge de prendre les décisions pourraient transmettre.

Des chiffres qui portent bonheur

Cette approche « data-driven » se superpose souvent à une démarche dite « user-centric » ou « customer-centric » qui consiste à placer l’utilisateur·ice au centre de toutes les attentions.
L’objectif est de réussir à « voir le monde à travers les yeux de ses client-e-s » comme le proclame la publicité de la solution Customer 360 de Salesforce, une entreprise proposant des logiciels de gestion de la relation client (GRC) — ou « Customer Relationship Management » (CRM) en anglais. Elle vante ainsi le fait qu’une entreprise ayant recours à de tels outils serait capable de mieux répondre aux besoins de ses client·e·s grâce à une connaissance optimisée de leurs comportements, de leurs aspirations et de leurs frustrations. Cette grande quantité d’informations détenues sur sa clientèle garantirait à l’entreprise de meilleurs résultats et de plus grands profits : « The more you know, the better you grow. » ( « >i>Plus de connaissances, c’est plus de croissance »).

La « data-driven empathy » ou « empathie des données » permettrait même, selon les promesses marketing, de « donner vie » aux données collectées afin d’anticiper les besoins et de s’adresser aux utilisateur·ice·s de manière plus « pertinente, personnelle, utile, et même enchanteuse ».
L’entreprise qui a recours à ces méthodes deviendrait ainsi capable de prédire les attentes et les comportements de chaque personne afin d’adapter automatiquement ses services de manière personnalisée : il s’agit là par excellence de la logique du capitalisme de surveillance et de la personnalisation de masse.

Comprendre ainsi comment les êtres humains se comportent, quels sont leurs objectifs et leurs aspirations, participerait in fine à l’amélioration de la vie de millions de personnes. Le data-driven serait donc, rien de moins, source de progrès et de bien-être pour l’humanité tout entière.

Le Quantified Self : une représentation de soi par les chiffres.

À une échelle plus individuelle, cette pratique de mesure et de mise en nombre du monde entre en résonance avec le mouvement du «Quantified Self  » (« mesure de soi ») et du « Self Tracking » (« auto-pistage »). Il s’agit de mesurer ses propres activités physiques, biologiques, émotionnelles et sociales pour ensuite les analyser.

La philosophie dominante du Quantified Self consiste à améliorer sa connaissance de soi par les chiffres et à s’aider à prendre des décisions pour être plus heureux·se. Ceci recouvre des pratiques diverses, par exemple le recours à des objets connectés pour mesurer et contrôler son corps et son activité  : une balance pour consulter son poids, une montre pour mesurer son activité physique quotidienne, un réveil pour surveiller la qualité de son sommeil.

Il peut également s’agir d’une forme d’empowerment et d’auto-aide pour s’appréhender soi, son corps, ses émotions, une maladie chronique, de manière indépendante ou complémentaire d’une institution médicale. La pratique du Quantified Self peut être une sorte de journal intime dont le contenu serait une succession de mesures simples plutôt que des descriptions d’expériences et d’états d’âme.

Reste un point commun entre toutes ces pratiques : le recours systématique à la mesure et à la représentation de soi par des chiffres.

Des limites méthodologiques à la collecte et au traitement des données

Quantifier le monde : une objectivité illusoire

L’approche data-driven promet une plus grande fiabilité et une meilleure efficacité des décisions, allant jusqu’à arguer d’un caractère parfaitement objectif. Les données collectées rendraient compte de « faits » équivalents à des preuves scientifiques. Pourtant, baser ses décisions sur ces données n’est pas forcément gage de cette objectivité tant recherchée.

Il faut d’abord décider quoi mesurer et comment. Or, tout ce qui est mesurable n’est pas forcément utile ou pertinent, et la décision de mesurer tel ou tel aspect de l’usage du produit influence la compréhension que l’on en a. Si l’ambition est de décrire le monde avec des chiffres, cette mise en nombre en affecte aussi la représentation et la compréhension. Le sociologue Alain Desrosières rappelle comment ce processus de mise en nombre — cette « quantification » — comprend non seulement les opérations de mesure à proprement parler, mais aussi un ensemble de conventions qui sont nécessaires pour traduire de manière numérique quelque chose qui était auparavant exprimé par des mots ¹
[Note 1]  : Alain Desrosières, Pour une sociologie historique de la quantification, Chapitre 1.
https://books.openedition.org/pressesmines/901
(consulté le 03/09/2021)
« L’idée de mesure, inspirée des sciences de la nature, suppose implicitement que quelque chose de bien réel, déjà existant, analogue à la hauteur du Mont Blanc, peut être « mesuré », selon une métrologie réaliste. En revanche, le verbe quantifier implique une traduction, c’est-à-dire une action de transformation, résultant d’une série d’inscriptions, de codages et de calculs, et conduisant à une mise en nombre. Celle-ci contribue à exprimer et faire exister sous une forme numérique, par mise en œuvre de procédures conventionnelles, quelque chose qui était auparavant exprimé seulement par des mots et non par des nombres. Pour refléter cette distinction entre la chose et son expression numérique, on parle souvent d’indicateur, par exemple pour l’inflation, le chômage, la pauvreté, les violences faites aux femmes, ou le développement humain des pays de l’ONU. »
<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Prenons un exemple : comment quantifier le bonheur ? Imaginons que l’on effectue un sondage où l’on demande aux personnes de noter à combien elles évaluent leur état de bonheur actuel sur une échelle de 0 à 10 (le sondage est ici volontairement simpliste). On leur demanderait de traduire en un seul chiffre quelque chose de complexe : s’agit-il du sentiment de bonheur global sur un an, ou sur l’heure qui vient de se passer ? Comment leur état actuel influence-t-il la perception de leur bonheur ? Est-ce que l’on parle de bonheur dans le domaine professionnel, amoureux, familial, amical, artistique ? Pour choisir un chiffre sur l’échelle de 0 à 10, chaque personne va donner consciemment et inconsciemment un poids différent à tous ces aspects : les résultats seront difficilement comparables étant donné que chaque personne va interpréter différement la question.

Or, quantifier, pour reprendre l’expression de Desrosières, c’est « convenir et mesurer » afin de pouvoir ensuite distinguer, comparer, classer des éléments entre eux. On peut donc vouloir adopter une approche basée sur des mesures plus « objectives » plutôt que l’auto-évaluation des personnes. C’est ainsi que certains tentent de calculer une sorte de « Bonheur national brut » en considérant des indicateurs comme le taux de chômage et le revenu mensuel moyen, le nombre de personnes diagnostiquées de telle ou telle maladie, le taux de personnes propriétaires de leur logement, etc. On part alors du postulat que ces éléments sont pertinents pour rendre compte de ce qui fait le bonheur des gens. Or, le choix de ces indicateurs, la manière de les calculer et de les intégrer pour constituer le score final sont autant d’éléments qui influencent quelle représentation finale du bonheur de la population on obtient.

Desrosières souligne que ces conventions de traduction, qui ont un effet sur le sens qui peut être donné à ce que l’on mesure, s’effacent ensuite bien souvent derrière les résultats obtenus et partagés : « Une fois les procédures de quantification codifiées et routinisées, leurs produits sont réifiés. Ils tendent à devenir « la réalité », par un effet de cliquet irréversible. Les conventions initiales sont oubliées, l’objet quantifié est comme naturalisé […]».
La parfaite objectivité dans le rendu du réel qui serait inhérente aux approches data-driven est donc illusoire.

Comment interpréter les données ?

Qui plus est, on risque de perdre au passage ce qui n’est « pas quantifiable ». Si on demande aux personnes du sondage sur le bonheur de répondre verbalement, il y a des chances qu’elles répondent par plusieurs phrases d’explication, accompagnées de gestes, d’expressions du visage, d’un ton de voix qui permettraient de percevoir et de mieux comprendre comment ces personnes se sentent. Bref, autant d’informations difficilement, voire pas du tout, quantifiables.
Enfin, réduire une discussion sur le bonheur à un simple score entre 0 et 10 limite fortement l’intérêt de l’échange : en effet, pourquoi cherche-t-on à mesurer le bonheur en premier lieu ? Est-ce que pour le simple plaisir d’en faire l’évaluation d’une année sur l’autre, ou pour comprendre comment vivre de manière plus agréable individuellement et collectivement ? Et dans ce cas, comment en rendre compte par des chiffres ?

Le terrain de collecte des données n’est également pas neutre. Lorsque Salesforce vend la perspective de « voir le monde à travers les yeux de ses client·e·s », ce qu’il vend vraiment est la capacité de mesurer ce que les client·e·s effectuent dans l’espace qui leur est imposé par le logiciel ou le service utilisé : or, tel service programmé par un tiers a des conséquences sur nos comportements par la manière dont ses fonctionnalités sont conçues, par le temps de réponse de l’application, par ses limitations et les bugs face auxquels nous nous adaptons. Si la télémétrie peut donner l’impression d’être à l’écoute des personnes concernées en étant au plus près d’elles, et même de leur permettre de s’exprimer comme l’avance Microsoft), celles-ci n’interviennent jamais réellement dans le processus de prise de décision vis-à-vis du produit qu’elles utilisent. Autrement dit, mesurer nos réactions dans un espace contraint ne permet pas de révéler nos aspirations sincères.

Les données doivent ensuite être interprétées correctement et être mises en contexte pour leur donner du sens. Face à la grande quantité de données rendues disponibles et collectées, ces analyses sont désormais de plus en plus automatisées (notamment par des algorithmes d’intelligence artificielle). Or leurs biais sont désormais nombreux à être documentés, notamment ceux résultant de discriminations systémiques.

De la maximisation de la productivité au contrôle sécuritaire

Construire la meilleure équipe qui soit

En entreprise, le « data-driven management  » s’appuie sur la mesure du travail et des interactions des travailleur·euse·s pour améliorer la performance des équipes. Ceci inclut les méthodes de gestion de performance tels que les « Key Performance Indicators  » (KPI) qui permettent de définir et de mesurer le succès d’une entreprise dans la poursuite de ses objectifs, ou encore les questionnaires d’enquêtes pour mesurer le degré de satisfaction des employé·e·s. L’enjeu crucial pour les entreprises est de créer des « super équipes » créatives, performantes et impliquées.

Plusieurs chercheur·euse·s au Human Dynamics Laboratory du MIT ont travaillé sur ces questions dans les années 2010. Pour eux, les caractéristiques d’un groupe performant sont quantifiables. Ils développent un badge électronique dont ils équipent les travailleur·euse·s et qui collecte des données sur leurs comportements lorsqu’ils et elles communiquent : ton de la voix, langage corporel, qui parle à qui, combien de temps, etc. Ils dissèquent chaque comportement pour mesurer ce qui constitue, par exemple, une séance de brainstorming productive.

Le développement récent de nouvelles technologies leur permet de repousser la frontière de ce qui est selon eux quantifiable dans la vie humaine. Grâce à des capteurs sans fil portables, plus sensibles, plus petits et capables de collecter un nombre grandissant de données, ils observent et mesurent chaque interaction. Les badges « génèrent plus de cent captures de données par minute et fonctionnent de manière suffisamment discrète pour que nous soyons confiants sur le fait que nous mesurons des comportements naturels. (Nous avons documenté une période d’ajustement aux badges : au début, les personnes semblent être conscientes qu’elles le portent et agissent de façon peu naturelle, mais l’effet se dissipe généralement dans l’heure qui suit.) ». ²
[Note 2] : Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012
https://hbr.org/2012/04/the-new-science-of-building-great-teams
(consulté le 03/09/2021)
« […] generate more than 100 data points a minute and work unobtrusively enough that we’re confident we’re capturing natural behavior. (We’ve documented a period of adjustment to the badges: Early on, people appear to be aware of them and act unnaturally, but the effect dissipates, usually within an hour.) »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

Ces mesures leur permettent ensuite d’anticiper, par exemple, les performances d’une équipe. Il s’agit ainsi de développer le pouvoir de connaissance et de prédiction à l’échelle de l’entreprise toute entière.

Mesuré·e, quantifié·e — c’est-à-dire réduit·e à des chiffres et des indicateurs —, l’employé·e data-driven n’a pour seule fonction que de maximiser ses performances et la plus-value qu’il ou elle produit pour le bénéfice d’une entreprise qui aspire à une omniscience quasi-divine. Et s’il faut pour cela mesurer également le bien-être émotionnel de ses employé·e·s, afin d’optimiser leur bonheur pour qu’ils et elles soient plus productives, ainsi soit-il.

Surveiller au travail, et au-delà

Cette logique de contrôle qui se pare des voiles d’une productivité joyeuse et épanouissante peut également servir à une surveillance répressive des salarié·e·s. Amazon se distingue régulièrement en la matière, par exemple avec la surveillance des conducteur·ice·s de camions de livraisons par un logiciel d’intelligence artificielle aux États-Unis, l’usage d’un logiciel qui suit automatiquement l’activité de chaque personne en mesurant le nombre de colis scannés et qui peut décider de licencier automatiquement les moins productives ou encore, en 2018, le dépôt de deux brevets pour un bracelet permettant de surveiller les mouvements des mains des employé·e·s dans les entrepôts.

Plus récemment, l’entreprise états-unienne Teleperformance, dans le contexte du travail à distance imposé par les mesures contre la pandémie de covid-19, a fait pression sur les personnes qu’elle emploie afin qu’elles acceptent d’être surveillées chez elles. Apple, quant à elle, d’après une fuite interne datant de juin 2021, équiperait certaines de ses équipes de caméras corporelles semblables aux modèles utilisés par la police dans le but de les empêcher de divulguer des informations confidentielles.

La logique de la surveillance à des fins sécuritaires encourage le déploiement d’outils visant à mesurer les personnes et les comportements dans l’espace public aussi bien que privé. C’est le mythe de la « Smart City » décortiqué récemment dans l’un de nos articles ou encore les expérimentations de la vidéosurveillance biométrique dans les supermarchés pour détecter les vols.

Mesurer les comportements des utilisateur·ice·s d’un logiciel pour améliorer le produit et maximiser les profits de l’entreprise ; mesurer les comportements des travailleur·se·s pour contrôler leur productivité, quitte à s’inviter dans la sphère privée lorsque le travail se fait depuis chez soi ; mesurer les comportements jugés illégaux ou anormaux dans l’espace public afin d’assurer l’ordre public. Que cela soit à des fins de profits ou à des fins sécuritaires, il s’agit à chaque fois de la même logique : collecter des données, beaucoup de données ; en automatiser l’analyse, au moyen notamment de logiciels d’intelligence artificielle ; les utiliser comme outil de contrôle et de prédiction des comportements humains, selon des critères décidés par les personnes qui détiennent le pouvoir et qui n’hésitent pas à citer en modèle le regard omniscient de Dieu sur l’univers :

« Nous commençons à créer ce que j’appelle la « vision de Dieu » d’une organisation. Bien qu’elle puisse sembler d’ordre spirituel, cette vision s’appuie sur des preuves et des données. C’est une vision magnifique et elle va changer la manière dont les organisations fonctionnent.  » ³[Note 3] Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012 https://hbr.org/2012/04/the-new-science-of-building-great-teams (consulté le 03/09/2021) « We are beginning to create what I call the “God’s-eye view” of the organization. But spiritual as that may sound, this view is rooted in evidence and data. It is an amazing view, and it will change how organizations work. » <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

« Il y a chez LEIBNIZ cette hypothèse que « Dieu calcule pour nous le meilleur monde possible » et il y a donc quelque chose d’une option presque prométhéenne qui nous permet de revisiter la conception du monde de LEIBNIZ à travers l’intelligence artificielle qui nous donnerait la capacité de réaliser nous-mêmes ce calculet à travers en effet des machines apprenantes de pouvoir parcourir beaucoup plus rapidement les chemins du malheur pour choisir le bon chemin beaucoup plus tôt et beaucoup plus rapidement. C’est prométhéen dans ce que cela comporte d’ambivalence, c’est une chance inouïe d’accélérer le calcul réservé à Dieu chez LEIBNIZ, c’est une responsabilité énorme d’avoir dans notre main cette possibilité de le faire. »

Emmanuel Macron, Discours du Président de la République sur l’intelligence artificielle, 29 mars 2018

Un monde sans mesure ?

Pourquoi donc ne voudrions-nous pas de ce monde quantifié, mesuré « objectivement » qui nous livrerait avec un haut degré de certitude et de précision une représentation de notre réalité, comment nous nous comporterions, comment nous ressentirions et quelles seraient les prochaines actions ou comportements que nous devrions adopter pour faire progresser le bonheur et le bien-être de l’humanité ?

Si d’aventure nous résistons aux méthodes data-driven, alors c’est que nous serions dans le déni et que nous préférerions les bonnes histoires aux faits vérifiables et bien tangibles. Bref, que nous serions réfractaires aux lumières rationnelles que les données nous apportent.

Il ne s’agit pas pour autant de dénier à ces méthodes certains de leurs intérêts. À une collecte effrénée de plus en plus de données, peut être opposée une pratique de collecte minimaliste, réduite au strict nécessaire, limitée dans le temps et soumise systématiquement au consentement des utilisateur·ice·s au cas par cas. On peut également penser à la collecte de données à des fins d’intérêt partagé — comme la protection de la vie privée ou de l’intégrité des personnes — avec la question de la gestion responsable et collective de ces données. Enfin certain·e·s mettent en œuvre une approche critique d’analyse des données et parlent de décisions data-informed plutôt que data-driven. Il s’agit tout compte fait d’appliquer les principes de la démarche scientifique : formuler des hypothèses basées sur l’intuition, l’expérience ou une observation et chercher à les vérifier en testant. L’analyse manuelle ou automatisée de données est l’un des moyens possibles pour vérifier ces idées.

Refuser le meilleur des mondes

Il s’agit donc, certes, de poser la question de la finalité de la collecte des données, mais également celle du modèle politique de la société que la télémétrie effrénée participe à façonner : un environnement rassurant, sécurisé, bien calibré, où tout serait anticipable et anticipé. C’est-à-dire un monde qui contraindrait des caractéristiques profondément humaines et volatiles : la spontanéité, l’imprédictibilité des émotions, l’imagination et l’expérimentation.

Pour lutter contre, encourageons-nous à faire des expériences inattendues, justement. Pourquoi pas en (ré)-introduisant du hasard et de l’imprédictibilité dans nos comportements, par exemple sur le modèle des personnages « fous » qui jettent leurs dés chaque fois qu’ils doivent prendre une décision sur le plateau-monde de jeux d’échecs imaginé par les bédéistes Ulysse et Gaspar Gry. À l’instar de la méthode de test « monkey testing », qui consiste à utiliser un logiciel de manière aléatoire pour en éprouver les réactions, certaines attaques en sécurité informatique pourraient, assez ironiquement, nous servir d’inspiration pour déjouer les prédictions des systèmes automatisés : car « modifier légèrement les données de manière malveillante détériore considérablement la capacité prédictive du modèle ».

Comment créer autrement des outils et des technologies véritablement à notre service ? Une donnée est une information que quelque chose est arrivé, un fait. La connaissance, elle, désigne la conscience et la compréhension que l’on peut avoir de quelque chose ou de quelqu’un. Il s’agirait alors de nous détourner de ces « données » unitaires et parcellaires pour favoriser la compréhension par la communication directe et l’écoute de ce que les gens ont à partager. Citons ainsi pour finir les mots de Josh Andrus, designer UX :

«  Pour résoudre un problème pour n’importe quel groupe d’êtres humains, nous devons nous familiariser avec leur environnement, comprendre la manière dont ils et elles voient le monde. L’art de ré-équilibrer les positions de pouvoir dans n’importe quelle relation est la clé pour créer une expérience sûre, libre, inclusive, équilibrée dans laquelle toutes les personnes participent pleinement. […] Si nous pouvons nous concentrer à faire en sorte que les gens se sentent entendus, compris, et à créer un lien émotionnel durable, nos objectifs globaux d’obtenir les informations les plus sincères et les plus exactes possibles à propos des comportements et des attitudes de l’utilisateur·rice viendront de manière authentique et naturelle. » ⁴
[Note 4] :
Josh Andrus, Making a Real Connection to Users, Nov 17, 2020
https://uxdesign.cc/making-a-real-connection-to-users-75fd64053dea
(consulté le 03/09/2021)
« To solve a problem for any group of people, we need to make ourselves familiar with their environnement and understand the way they see the world. The art of balancing power in any relationship is key to creating a safe free, inclusive, balanced journey in which all members fully participate.
[…] If we can focus on making people feel heard, understood, and create a lasting emotional connection, our overarching goals to get the most honest and accurate information about the user’s behaviors and attitudes will come a genuine and natural place. »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

<script type="text/javascript"> function footnote_expand_reference_container_17630_2() { jQuery('#footnote_references_container_17630_2').show(); jQuery('#footnote_reference_container_collapse_button_17630_2').text('−'); } function footnote_collapse_reference_container_17630_2() { jQuery('#footnote_references_container_17630_2').hide(); jQuery('#footnote_reference_container_collapse_button_17630_2').text('+'); } function footnote_expand_collapse_reference_container_17630_2() { if (jQuery('#footnote_references_container_17630_2').is(':hidden')) { footnote_expand_reference_container_17630_2(); } else { footnote_collapse_reference_container_17630_2(); } } function footnote_moveToReference_17630_2(p_str_TargetID) { footnote_expand_reference_container_17630_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17630_2(p_str_TargetID) { footnote_expand_reference_container_17630_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

L’Assemblée nationale vient d’adopter une nouvelle loi pour légaliser l’usage de drones de surveillance par la police. Alors que le texte est quasiment identique à celui censuré par le Conseil constitutionnel en début d’année, les parlementaires n’ont pas hésité à le voter une nouvelle fois. C’est une énième preuve qu’il n’y a rien à attendre du Parlement pour nous protéger des dérives sécuritaires du gouvernement. La lutte contre la Technopolice ne se fera pas sur les bancs de l’Assemblée.

Nous en parlions ici : après s’être vu à quatre reprises refuser le droit de surveiller la population avec des drones, le gouvernement est revenu une cinquième fois à l’attaque. Deux arrêts du Conseil d’État, une décision de la CNIL et une décision du Conseil constitutionnel n’auront pas suffit : le gouvernement est prêt à tout pour déployer des drones avec caméra dans l’espace public. Les caméras fixes, les caméras « nomades », les caméras-piétons, tout cela ne lui suffit pas : il faut surveiller, toujours plus, et retransmettre les flux en temps-réel à des centres de supervision – et derrière analyser et disséquer les images, transformer nos rues et nos déambulations en données exploitables par la police.

Copier-coller

Notons tout de suite que le texte ne parle plus seulement des drones mais de tout « aéronef » utilisé par la police (alinéa 2 de l’article 8): c’est-à-dire qu’il légalise non seulement la surveillance par drones, mais aussi celle faite par hélicoptère ou par avion, une surveillance réalisée depuis longtemps par la police en toute illégalité – sans qu’aucune institution (en particulier pas la CNIL) ne soit venue la gêner (voir notre article d’analyse ici), et sans qu’aucun responsable ne soit condamné.

Le gouvernement (ou le rapporteur du texte, on ne sait plus très bien faire la différence) veut faire croire qu’il répond aux critiques du Conseil constitutionnel. Il reprend donc le même texte que l’année précédente et fait quelques modifications à la marge, des modifications trompeuses qui, comme on va le voir, n’enlèvent en rien le caractère profondément liberticide du texte.

Les finalités autorisées pour déployer un drone restent toujours aussi larges, même si le gouvernement tâche de faire en sorte que cette fois, le Conseil constitutionnel se montre plus accommodant : la police peut tout faire rentrer dans la notion de « prévention des atteintes à la sécurité des personnes et biens dans lieux particulièrement exposés », ou dans celle de « sécurité des rassemblements de personnes sur la voie publique » ou dans la « prévention d’actes de terrorisme ».

Quand bien même ces finalités seraient limitées, qui les contrôle en pratique, et qui autorise les drones ? Le représentant de l’État et, à Paris, le préfet de police. La police demande donc autorisation à la police pour utiliser des drones. Il est vrai qu’on est jamais mieux servi que par soi-même. Rappelons à ce sujet que nos deux contentieux de 2020 au sujet des drones étaient… contre le préfet de police. Et que c’est lui qui se gargarisait devant l’AFP de sa nouvelle arme technopolicière.

Autre fausse limitation : l’autorisation délivrée par le représentant de l’État prévoit un nombre maximal d’aéronefs, un périmètre géographique et une durée limitée. D’abord, le texte ajoute aussitôt une exception en cas d’urgence pour faire sauter cette limitation¹« Par dérogation à cette procédure d’autorisation, lorsque l’urgence résultant d’une exposition particulière et imprévisible à un risque d’atteinte caractérisée aux personnes ou aux biens le requiert, les traitements mentionnés au présent article peuvent être mis en œuvre de manière immédiate, après information préalable, du représentant de l’État dans le département ou, à Paris, du préfet de police, qui peut y mettre fin à tout moment. Au‑delà d’une durée de quatre heures, la poursuite de la mise en œuvre du traitement est subordonnée à son autorisation expresse et ne peut excéder une durée de vingt‑quatre heures » <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17632_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17632_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Ensuite, hors cas d’urgence, cette limitation ne restreindra pas ce que souhaite faire la police en pratique. Si la police souhaite 200 drones pour surveiller toutes les manifestations d’une ville durant toute l’année, rien n’empêchera le préfet de l’y autoriser (si l’autorisation est en théorie limitée à 3 mois par la loi, ce délai est indéfiniment renouvelable). Et quand bien même le préfet voudrait se montrait exemplaire en n’autorisant que trois drones, limités à une zone où a lieu un rassemblement à Paris pour le durée de la manifestation, la police pourra capter un nombre extrêmement important d’informations. Et c’est encore plus vrai pour les hélicoptères ou les avions, au vu de leur puissance de captation (on en parlait aussi ici).

Ce sont donc des fausses limites, un faux encadrement. Jean-Michel Mis (LREM) (voir notre portrait) a remplacé ses collègues Fauvergue et Thourot sur ce sujet mais c’est la même entité désincarnée qui tient la plume, chaque membre de la majorité étant interchangeable avec l’autre. Les critiques formulées contre la loi « Sécurité Globale » tiennent donc toujours, elles sont accessibles ici.

Garde-à-vue et véhicules de police

Comme on l’a dit, le texte ne couvre pas que les caméras volantes mais évoque aussi de nombreux autre sujets (sur l’ensemble du texte, voir l’analyse du Syndicat de la magistrature).

Sur le sujet de la captation vidéo, le texte légalise de nouveau la vidéosurveillance en garde-à-vue. Toujours sans aucune gêne, les rapporteurs avouent que cette vidéosurveillance est pratiquée depuis longtemps mais sans cadre légal (comprendre donc que c’est totalement illégal, mais là encore, les responsables bénéficient d’une impunité systémique). Prétextant la protection de la personne placée en garde à vue, le texte veut en réalité permettre qu’une caméra soit placée en cellule pour la filmer en permanence (pour 24h avec renouvellement possible). Puisqu’on vous dit que c’est pour votre bien ?

Autre légalisation, les caméras embarquées sur les véhicules de la police et de la gendarmerie. C’est à peu près le même cadre que pour les caméras-piétons : autoriser la captation vidéo « lorsque se produit ou est susceptible de se produire un incident », c’est-à-dire que la police ou la gendarmerie pourra décider de filmer qui elle veut et quand elle veut, avec possibilité de transmission du flux vidéo en temps réel à un poste d’observation.

Autre changement majeur dans la législation, l’article 16 qui élargit les possibilités de prise de photos et d’empreinte d’une personne (notamment les mineurs) sous contrainte. Aujourd’hui la police doit, dans la grande majorité des cas obtenir le consentement des personnes pour récolter leur signalétique (empreinte, ADN, et photographie) bien que le refus de s’y soumettre soit pénalement sanctionné.

Le texte prévoit que celle-ci puisse donc relever sous contrainte les empreintes palmaires et digitales des personnes ainsi que la prise d’une photographie, on imagine par la force (voir pour plus d’informations, le volet 2, page 17 des observations du syndicat de la magistrature).

Impossible de voir une quelconque amélioration entre le texte censuré par le Conseil constitutionnel et le texte adopté : comme pour les drones, c’est le même texte, avec quelques fausses rustines.

Faux débat parlementaire

Le texte a-t-il changé entre sa présentation par le gouvernement en juillet dernier et son adoption par l’Assemblée nationale aujourd’hui ? À peine, en tous cas sur les sujets de captation vidéo. Notons simplement que leur utilisation, ainsi que celles des caméras en garde-à-vue, a été étendue par les députés à la police douanière.

De même que la loi sécurité globale avait démontré la soumissions institutionnelle du Parlement à la police (voir notre analyse), aucun espoir d’amélioration n’était à attendre des députés aujourd’hui. Dans l’ancienne loi sécurité globale, le seul effort consenti par le Parlement avait été d’interdire que les images captées par drones ne soient soumises à un traitement de reconnaissance faciale ²Sont prohibés […] l’analyse des
images issues de leurs caméras au moyen de dispositifs automatisés de reconnaissance faciale<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17632_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17632_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Cette limitation est reprise mais largement réduite : « Les dispositifs aéroportés ne peuvent […] comporter de traitements automatisés de reconnaissance faciale ». Or, s’il faut redouter une forme de reconnaissance faciale, ce n’est pas celle réalisée par le drone lui-même mais celle réalisée par les policiers depuis le poste de contrôle, sur leurs propres ordinateurs, à partir du fichier de traitement des antécédents judiciaires qui leur permet depuis 2012 de réaliser de tels traitements (voir notre analyse sur le fichier TAJ). La seule amélioration apportée par l’Assemblée nationale l’an dernier aura bien vite été supprimée aujourd’hui.

<script type="text/javascript"> function footnote_expand_reference_container_17632_2() { jQuery('#footnote_references_container_17632_2').show(); jQuery('#footnote_reference_container_collapse_button_17632_2').text('−'); } function footnote_collapse_reference_container_17632_2() { jQuery('#footnote_references_container_17632_2').hide(); jQuery('#footnote_reference_container_collapse_button_17632_2').text('+'); } function footnote_expand_collapse_reference_container_17632_2() { if (jQuery('#footnote_references_container_17632_2').is(':hidden')) { footnote_expand_reference_container_17632_2(); } else { footnote_collapse_reference_container_17632_2(); } } function footnote_moveToReference_17632_2(p_str_TargetID) { footnote_expand_reference_container_17632_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17632_2(p_str_TargetID) { footnote_expand_reference_container_17632_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Le 21 avril 2021, la Commission européenne a déposé un projet de règlement sur l’intelligence artificielle. S’il prétend proposer « un cadre juridique pour une IA digne de confiance », ce règlement conduira en vérité à abaisser le niveau de protection actuellement assuré par le droit européen. Son principal risque sera d’autoriser certaines pratiques jusqu’alors interdites – au premier rang desquelles la reconnaissance faciale policière de masse.

Pour rappel, depuis 2016, l’article 10 de la directive 2016/680 interdit aux États membres de l’UE d’analyser des données biométriques à des fins policières, sauf « en cas de nécessité absolue ». Autrement dit, la reconnaissance faciale n’est possible que dans les cas exceptionnels où elle est « indispensable » – où la police ne disposerait plus d’aucun autre moyen pour lutter contre une infraction. Or, la police a systématiquement échoué à démontrer que ce cas théorique pouvait se matérialiser en pratique : si elle peut parfois être « utile », la reconnaissance faciale n’est jamais « indispensable » au travail de la police.

C’est pourquoi nous avons demandé en 2020 au Conseil d’État de supprimer la disposition du décret TAJ qui, depuis 2012, autorise la police française à recourir librement à la reconnaissance faciale (lire notre article).

Notre affaire contre le décret TAJ est encore en cours et, pour l’instant, le droit européen en vigueur depuis 2016 devrait nous donner raison. Hélas, cela pourrait changer prochainement.

La Commission européenne a déposé un nouveau projet de règlement sur l’IA dont l’article 5 entend poser de nouveaux cadres juridiques spécifiques pour certains usages de l’intelligence artificielle, notamment les « systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives ». Si, de prime abord, le règlement semble interdire de tels dispositifs, il s’agit d’un simple tour de passe-passe : non seulement, comme expliqué ci-avant, cette interdiction découlait déjà de la directive de 2016 mais, surtout, si le règlement fait mine de rappeler cette interdiction, c’est uniquement pour lui ajouter une nouvelle et très large exception. L’ancienne condition de « nécessité absolue » est remplacée par une mise en balance entre, d’un côté, les intérêts de la police et, de l’autre, les dommages que cette surveillance pourrait concrètement causer aux populations surveillées¹Article 5, paragraphe 2 : « L’utilisation de systèmes d’identification biométriques à distance en «temps réel» dans des espaces accessibles au public à des fins répressives […] tient compte des éléments suivants : (a) la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice causé en l’absence d’utilisation du système ; (b) les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences. »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17622_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17622_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Il faut bien mesurer l’importance de ce changement de paradigme. Jusqu’alors, avec la notion de « nécessité absolue », la charge de la preuve reposait entièrement sur la police. Elle devait démontrer au cas par cas l’impossibilité matérielle qu’elle avait de travailler sans reconnaissance faciale. En face, les populations surveillées bénéficiaient d’une présomption juridique très forte. Ces populations n’avaient pas à démontrer que cette surveillance leur causait un dommage concret, car cette surveillance était considérée comme contraire par essence aux valeurs défendues par des sociétés démocratiques. C’est ce que rappelle l’ensemble des CNIL européennes réunies, dans un avis d’une rare franchise contre le nouveau projet de règlement sur l’IA : « l’identification biométrique à distance réalisée dans le contexte de manifestations politiques est susceptible d’avoir un effet dissuasif significatif sur l’exercice des droits et libertés fondamentales, telles que les libertés de réunion et d’association et, plus généralement, le principe fondateur de démocratie […] ses graves et irréversibles effets sur les attentes (raisonnables) de la population à être anonyme dans l’espace public porteraient directement atteinte à l’exercice de la liberté d’expression, de réunion, d’association et de circulation »²Notre traduction de : « Article 5(1)(d) of the Proposal provides an extensive list of exceptional cases in which ‘real-time’ remote biometric identification in publicly accessible spaces is permitted for the purpose of law enforcement. The EDPB and the EDPS consider this approach flawed on several aspects: […] Post remote biometric identification in the context of a political protest is likely to have a significant chilling effect on the exercise of the fundamental rights and freedoms, such as freedom of assembly and association and more in general the founding principles of democracy. […] its irreversible, severe effect on the populations’ (reasonable) expectation of being anonymous in public spaces, resulting in a direct negative effect on the exercise of freedom of expression, of assembly, of association as well as freedom of movement. […]The reasoning behind the Proposal seems to omit that when monitoring open areas, the obligations under EU data protection law need to be met for not just suspects, but for all those that in practice are monitored. […] the criteria referred to under Article 5 to “qualify” the AI systems as prohibited limit the scope of the prohibition to such an extent that it could turn out to be meaningless in practice […] For all these reasons, the EDPB and the EDPS call for a general ban on any use of AI for an automated recognition of human features in publicly accessible spaces »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17622_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17622_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Demain, avec le futur règlement IA, cette présomption disparaîtrait, cédant le pas à un équilibre à chercher au cas par cas entre police et population. Nous redoutons que cet équilibre, n’étant plus réajusté par l’ancienne présomption, finira toujours en défaveur de la population. En effet, il est extrêmement difficile de démontrer concrètement les dégâts systémiques causés par la surveillance de masse – c’est bien pour combler cette difficulté que le droit avait posé une présomption en faveur de la population. Au contraire, la police n’aura aucun mal à monter en épingle le moindre fait divers pour affirmer que telle ou telle technique de reconnaissance faciale serait à tout prix indispensable.

En pratique, à l’avenir, quand nous voudrons contester un système policier de reconnaissance faciale, il nous faudra probablement démontrer que ce système cause des dommages concrets à la population et que ces dommages sont plus importants que l’intérêt pour la police de recourir à ces outils. Cette démonstration particulièrement ardue sur le plan juridique, et qui pourrait suffire à nous faire perdre, ne nous est aujourd’hui nullement demandée dans notre affaire contre le TAJ – il nous suffit de pointer le fait que la police échoue à démontrer que la reconnaissance faciale est « absolument nécessaire » à son travail. À l’inverse, si le futur règlement proposé par la Commission européenne était déjà en vigueur aujourd’hui, il est bien possible que notre attaque contre le TAJ aurait déjà échoué.

Nous n’avons pas encore eu le temps d’appliquer la directive de 2016 contre la reconnaissance faciale permise dans le TAJ depuis 2012 que, déjà, nos arguments juridiques sont sur le point d’être effacés des textes de loi. Une fois que le futur règlement IA aura largement autorisé la reconnaissance faciale « en temps réel » grâce à ce terrible piège de la « balance des intérêts entre police et population », il faut redouter que ce nouveau paradigme juridique contamine l’ensemble des traitements de données biométriques, y compris ceux que le règlement IA ne vise pas encore explicitement (reconnaissance « en temps différé », détection de comportement, identification vocale, etc.).

Ce règlement IA pose d’autres problèmes que nous discuterons très prochainement. Mais, d’ores et déjà, ce terrible risque de généralisation de la reconnaissance faciale policière de masse justifie à lui seul d’exiger le retrait de cette disposition et l’application immédiate du droit existant.

<script type="text/javascript"> function footnote_expand_reference_container_17622_2() { jQuery('#footnote_references_container_17622_2').show(); jQuery('#footnote_reference_container_collapse_button_17622_2').text('−'); } function footnote_collapse_reference_container_17622_2() { jQuery('#footnote_references_container_17622_2').hide(); jQuery('#footnote_reference_container_collapse_button_17622_2').text('+'); } function footnote_expand_collapse_reference_container_17622_2() { if (jQuery('#footnote_references_container_17622_2').is(':hidden')) { footnote_expand_reference_container_17622_2(); } else { footnote_collapse_reference_container_17622_2(); } } function footnote_moveToReference_17622_2(p_str_TargetID) { footnote_expand_reference_container_17622_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17622_2(p_str_TargetID) { footnote_expand_reference_container_17622_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }