PROJET AUTOBLOG


La Quadrature du Net

source: La Quadrature du Net

⇐ retour index

« Le numérique nous insère dans une trame toujours plus resserrée »

jeudi 30 mars 2023 à 11:30

Fin 2022, deux membres de La Quadrature ont répondu aux question de Ruptures, un collectif de militant.es grenoblois.es formé à l’automne 2021. L’entretien a été publié dans leur journal La nouvelle vague n°10, paru en mars 2023. Cet échange aborde les enjeux de la campagne Technopolice, le front plus large de la lutte contre les technologies numériques de contrôle, ainsi que certaines questions stratégiques. Nous le reproduisons ci-dessous.

Pouvez-vous nous expliquer ce qu’est la technopolice, et les moyens d’actions que vous vous êtes donnés ?

Technopolice est le nom de la campagne de recherche-action lancée par La Quadrature du Net en 2019. Elle désigne aussi ce contre quoi nous luttons dans cette campagne, à savoir le développement et l’adoption croissante par la police française de nouvelles technologies numériques dédiées à la surveillance de l’espace public : vidéosurveillance automatisée et microphones intelligents censés repérer des comportement suspects, police prédictive, drones… Depuis le départ, l’idée est de documenter la genèse et la mise en œuvre de déploiement de ces technologies, des laboratoires de recherches qui les mettent au point aux usages opérationnels en passant par les grands programmes budgétaires et les lois qui les financent ou en autorisent l’usage.

Nous tentons aussi d’offrir à des individus ou collectifs des analyses, guides, des espaces de discussion afin d’articuler les combats locaux à des mobilisations nationales ou européennes. Nous dénonçons des projets de loi et tentons de faire supprimer les dispositions les plus dangereuses ; nous allons devant les tribunaux pour démontrer l’illégalité de certains projets et y mettre un terme (par exemple, nous avons attaqué le couplage de l’intelligence artificielle et de la vidéosurveillance à Moirans) ; nous organisons des actions de sensibilisation, d’affichage public ou des projections de documentaires pour faire connaître notre combat et convaincre de nouvelles personnes d’y prendre part. Plus largement, notamment aux travers de nos interactions avec certains médias, nous cherchons à sensibiliser les gens à la prolifération de ces technologies de surveillance policière et à mettre en œuvre les moyens d’y résister collectivement.

État d’urgence, État d’urgence sanitaire, procédures parlementaires accélérées, 49.3, procédures dérogatoires au droit commun… Devant la multiplication de règles de droit à géométrie variable, la question se pose : peut-on encore croire en la justice ?

À La Quadrature du Net, nous avons commencé à développer l’action contentieuse en 2015, après avoir constaté que nos stratégies d’influence parlementaire achoppaient sur un consensus sécuritaire de plus en plus prégnant, à gauche comme à droite. Notre idée d’alors était que si le législateur était incapable de protéger les droits humains inscrits au sommet de la hiérarchie des normes juridiques, si « les droits de l’Homme et du citoyen » ne trouvaient plus aucune traduction tangible dans la fabrique de la loi, alors il fallait mobiliser le terrain judiciaire contre l’alliance entre un pouvoir exécutif dopé à l’exception et un Parlement trop enclin à lui concéder les pleins pouvoirs.

Nous savons que le champ juridique agit en grande partie comme un terrain de neutralisation des revendications politiques et de la contestation de l’ordre établi. Force est de constater que les usages contestataires du droit se heurtent à toutes sortes d’obstacles techniques – par exemple la lenteur des procédures – et au fait que le plus souvent, les magistrats – et c’est en particulier le cas du Conseil d’État devant qui se soldent nos contentieux contre le gouvernement – agissent comme des garants de l’État et de sa violence.

Mais de fait, il se trouve encore des juges pour tenir tête au pouvoir politique. Nous avons remporté quelques victoires, dont certaines non négligeables, à l’image de l’interdiction de la reconnaissance faciale à l’entrée des lycées de la Région Sud ou devant la Cour de justice de l’Union européenne dans le dossier de la conservation généralisée des données (les opérateurs de télécommunications sont censés conserver les métadonnées de la population – qui communique avec qui, à quelle heure, pendant combien de temps, depuis quel endroit). Et ces jurisprudences créent un univers de contraintes autour des bureaucraties d’État. Elles permettent aussi de donner de l’écho à nos luttes politiques.

Au final, l’action juridique est ambivalente. Il y a toujours le risque qu’une défaite vienne légitimer ce contre quoi on se bat. Mais, à condition d’être articulée à d’autres modes d’action, elle reste selon nous un outil symbolique fondamental. Car en dépit de toutes leurs limites et contradictions internes, les droits humains sont un héritage des luttes démocratiques des siècles passées. Nous sommes en tout cas d’avis qu’il importe de les faire vivre en ces heures sombres. Même lorsque nous perdons ou que nous obtenons des victoires temporaires ou cosmétiques, nos recours permettent de mettre en évidence les contradictions d’un régime représentatif qui s’enfonce dans le libéralisme autoritaire, de parler aux juges dans leur langage qui prétend à l’universel et de montrer dossier après dossier à quel point l’État de droit qu’ils prétendent incarner n’est pour l’essentiel qu’un mensonge, à quel point ils demeurent pour la plupart, comme l’écrivait Pierre Bourdieu, les « gardiens de l’hypocrisie collective ». Bref, lorsqu’il est bien manié et complété par d’autres moyens de lutte, le droit peut en réalité être un moyen de délégitimer le pouvoir et donc d’y résister.

Selon tous les indicateurs, les prochaines années vont être secouées de multiples crises (climatique, sanitaire, économique…), que Jérôme Baschet unifie sous le terme de « crise systémique du capitalisme ». Dans le contexte de nouvelles tensions géopolitiques entre grandes puissances (Russie vs Ukraine/Europe, Chine vs Taïwan/usa,…), avec toutes les entorses au droit que cela permet, et avec le développement de moyens technologiques toujours plus puissants, quelles évolutions du contrôle social envisagez‑vous pour les prochaines années ?

Nous n’avons évidemment pas de boule de cristal et il est reste très compliqué de faire des prédictions, à fortiori dans un environnement politique aussi tumultueux. Sans doute la crise sanitaire a-t-elle offert un bon aperçu de ces nouvelles formes de contrôle social qui vont continuer à se développer dans les prochaines années, ou revenir en force à l’aune des prochaines « crises ».

La reprise en main d’Internet risque de se poursuivre au rythme de sa place toujours plus importante dans l’infrastructure de nos sociétés de masse. Les quelques espaces alternatifs qu’une association comme La Quadrature du Net s’est donné pour objectif de défendre risquent de connaître une marginalité encore plus grande qu’aujourd’hui. Dans le même temps, les espaces « mainstreams » – fussent-ils la propriété de libertariens comme Elon Musk – continueront de s’insérer dans les politiques de contrôle étatiques. Ils seront les seuls à pouvoir surnager dans un océan de normes toujours plus drastiques en matière de censure, de surveillance ou de cybersécurité, tout en continuant de jouer un rôle dans les compétitions géopolitiques internationales. Ainsi, la censure extra-judiciaire d’Internet a beaucoup progressé ces dernières années, que ce soit au prétexte de lutter contre la propagande terroriste et les discours de haine que de combattre la désinformation scientifique, comme on l’a vu pendant la crise sanitaire. Les élites politiques prétendent s’armer contre la position dominante d’acteurs comme Google, Microsoft et consorts. La réalité, c’est que les dispositifs mis en place consacrent ces entreprises dans le rôle de points de contrôle sur lesquels peut s’appuyer la reprise en main d’Internet.

Il y a aussi l’automatisation croissante de l’ensemble des structures bureaucratiques qui nous administrent, de Parcousup à Linky en passant par les algorithmes de la CAF ou de Pôle Emploi. La déshumanisation bureaucratique va se poursuivre sous les oripeaux de la « transformation numérique » de l’État et du marché, cherchant à invisibiliser le déni de justice et la violence de classe liés à ces bureaucraties, le tout sous couvert d’efficacité. La 5G et la domotique s’inscrivent dans ce mouvement vers une capillarité croissante de l’infrastructure numérique, insérant nos existences dans la trame toujours plus resserrée d’administrations centralisées.

Et puis il y a les questions d’identité numérique. Les plans en la matière au niveau européen ou français permettront demain de confier à n’importe quelle personne munie d’un smartphone la mission de contrôler les allées et venues de la population, la capacité de les retracer dans le temps encore plus finement que ne le permettent les réseaux de télécommunications, de réguler l’accès à certains espaces ou services sans forcément en passer par la police, et ce à un coût extrêmement faible pour l’État puisque nous avons déjà financé l’essentiel de cette infrastructure en achetant nous-mêmes nos smartphones. Depuis le mois d’août 2021, les cartes d’identité délivrées en France embarquent un code en deux dimensions contenant les données d’état civil et l’adresse du domicile – des informations lisibles par n’importe qui – et une puce biométrique lisible pour l’instant pour les seuls usages « régaliens ». Quelques jours plus tard, la multinationale française de l’identité Idemia a été retenue par l’Agence nationale des titres sécurisés (ANTS) dans le cadre du programme interministériel France Identité Numérique. Le but de ce marché public est de permettre de contrôler l’identité d’une personne à l’aide d’un smartphone et de la nouvelle carte d’identité électronique. Ces évolutions préparent dans l’Hexagone la généralisation du « portefeuille d’identité numérique » européen prévue pour 2024, et promue par le commissaire européen Thierry Breton.

Ce qui se passe en Chine sur le plan du contrôle numérique nous concerne assez directement. En effet, derrière les stratégies de distinction des élites européennes, la modernisation à marche forcée de la société chinoise en lien avec l’édification d’un système techno-sécuritaire spectaculaire contribue à un véritable soft-power de l’Empire du milieu auprès des élites européennes. Comme le résume Junius Frey dans la préface française d’un livre du philosophe Yuk Hui, « la gouvernementalité chinoise sert d’ores et déjà de modèle aux formes occidentales d’exercice de la puissance ». Après, ici comme là-bas, on sent bien à quel point toutes ces tendances sont fragiles. Elles sont non seulement insoutenables au plan écologique – sauf à finir de mettre la planète à sac – et elles restent soumises à de multiples résistances.

Outre son impact en termes de contrôle social, il nous semble que la technologie a d’autres aspects négatifs : emprise totalitaire sur nos vies, aliénation (chacun rivé sur son écran à regarder des vidéos pour se divertir), dépendance de plus en plus accrue à l’énergie et aux matières premières… Pensez-vous que c’est simplement l’usage policier de la technologie qui est problématique ? Ou bien la technologie est-elle la manifestation de la démesure humaine à l’ère industrielle ? En d’autres termes : selon vous la technologie est-elle neutre ?

Bien sûr que non, la technologie n’est pas neutre : bien qu’elle soit plurielle et elle aussi soumise à des tendances contradictoires, elle est globalement produite – et elle tend généralement à reproduire – un système politique, économique et social à la fois écocide, capitaliste, raciste, patriarcal. Et oui, la technologie porte en elle la démesure d’un système technicien mis presque tout entier au service de l’édification de sociétés de masse inégalitaires, bureaucratisées et industrialisées.

Nous sommes parties prenantes d’un milieu militant qui a largement bercé dans les utopies fondatrices d’Internet, mais l’expérience politique collective qu’est La Quadrature du Net nous a permis de nous en départir. Même si nos moyens limités nous conduisent à mettre l’accent sur tel ou tel sujet selon les moments, notre action collective est loin de se réduire aux seuls sujets liés à la Technopolice, bien qu’ils soient sans doute les plus visibles ces temps-ci. Nous voyons évidemment plus loin que les usages policiers et nous sommes bien conscients de l’imbrication entre technologies numériques et les différentes formes de pouvoir qui régissent nos existences.

L’une des difficultés, une fois que l’on admet cette non-neutralité de la technique, c’est que le numérique est un fait social total et qu’il est très difficile aujourd’hui d’exister socialement ou politiquement sans en passer par lui. Ce qui pose la question de la place que l’on accorde aux usages alternatifs de l’informatique, des formes d’adoption minimale auxquelles nous consentons malgré tout, et la manière dont on peut les articuler à des stratégies d’évitement ou de contestation des infrastructures numériques existantes. Sur ces sujets notamment, il existe des positions et des pratiques diverses au sein de notre collectif. Nous tâchons de nous nourrir de cette diversité et des débats qu’elle suscite.

Que faire face à ce déferlement de contrôle ? Peut‑on revenir en arrière ? Quels moyens de résistance pensez‑vous efficaces ?

Revenir sur les lois sécuritaires et les régimes d’exception est bien évidemment possible, mais soyons lucides : le vent de l’histoire n’est pas favorable. Sur le plan de la matérialité technologique, revenir en arrière est impossible. Nous héritons quoiqu’il arrive de quantités d’infrastructures numériques qu’il faudra pour certaines maintenir – au moins un temps –, d’autres dont il faudra organiser le démantèlement immédiat, le tout en s’occupant de milieux saccagés dont nous devrons tâcher de tirer nos moyens d’existence.

Quant aux stratégies de résistance efficaces, notre sentiment personnel, c’est que même si certaines sont plus pertinentes que d’autres, il ne faut en rejeter aucune à priori. De l’entrisme au sabotage, toutes peuvent avoir leur efficacité dans un contexte donné. À chacun de décider ce qui lui incombe de faire, selon ses positions sociales et ses appétences, en essayant d’apprendre constamment de nos échecs et de nos erreurs ; d’être lucide, d’ajuster le diagnostic et de réviser nos tactiques avant de réessayer.

L’efficacité politique de nos luttes dépend sans doute pour beaucoup de notre capacité à articuler toutes ces différentes manières de faire, à nourrir un dialogue et des solidarités entre elles en faisant preuve de réflexivité, en les arrimant à un horizon commun de rupture avec le système existant pour faire percoler la radicalité. Même lorsque tout peut sembler perdu, rappelons-nous qu’à travers l’histoire, des pouvoirs en apparence inébranlables se sont avérés extrêmement fragiles. Des stratégies réfléchies et la contingence de l’histoire peuvent en venir à bout bien plus vite qu’il n’y paraît.

La France, premier pays d’Europe à légaliser la surveillance biométrique

jeudi 23 mars 2023 à 13:12

L’article 7 de la loi sur les Jeux olympiques a été adopté ce midi par l’Assemblée, actant l’entrée formelle de la vidéosurveillance algorithmique (VSA) dans le droit français, jusqu’en décembre 2024. À l’ombre du tumulte de la réforme des retraites, et grâce à une procédure comme d’habitude extrêmement rapide, le gouvernement a réussi à faire accepter une des technologies les plus dangereuses jamais déployées. Pour cela, il a usé de stratégies, de mensonges et de récits fictifs, pour que jamais ne soit sérieusement et concrètement discutés le fonctionnement technique de ces outils et leurs conséquences politiques et juridiques en termes de surveillance de masse. Grâce à une majorité totalement désinvestie et au soutien total de l’extrême-droite, la VSA a donc pu être légalisée sur la base de mensonges sapant toujours un peu plus le jeu démocratique.

À l’heure où les images de violences policières inondent les écrans, où la police, armée de matraques, assure le service après-vente de mesures impopulaires au possible, l’accentuation de la surveillance policière participe d’une stratégie politique visant à étouffer toute contestation.

Il faut dénoncer ces manœuvres permettant à l’État de détourner la réalité des prérogatives de surveillance qu’il s’arroge. Particulièrement dans un contexte où les mots sont sciemment déviés de leur sens, où l’on tente de nous convaincre que « la surveillance c’est la protection », que « la sécurité c’est la liberté », et que « la démocratie c’est le passage en force ». Il est nécessaire de visibiliser, de contrer ce faux jeu démocratique, et de remettre en cause sans relâche les pouvoirs exorbitants attribués à l’appareil policier français. Il n’est pas nécessaire d’évoquer une dystopie « à la chinoise » pour prendre la mesure des dangers. Mieux vaut regarder l’histoire française et le climat politique actuel, pour mesurer et comprendre la fuite en avant sécuritaire visible depuis vingt ans : toujours plus de caméras, de surveillance et de fichiers, dans une dépolitisation croissante des enjeux sociaux, et une perte de repères des décideurs politiques. Ainsi, les débats sur la loi JO ont principalement brillé par la perte de boussole politique des dirigeants qui semblent hermétiques à tout questionnement sur ces sujets.

Cette première légalisation de la vidéosurveillance automatisée est une victoire d’étape pour les industries sécuritaires françaises. Elles qui demandaient depuis des années à pouvoir tester leurs algorithmes sur les populations, pour les perfectionner et les vendre à l’international, les voilà servies. Bientôt Thales, XXII, Two-I et Neuroo pourront vendre leurs logiciels biométriques à d’autres États, tout comme Idemia a vendu sa technologie de reconnaissance faciale à la Chine. La startup XXII n’a même pas attendu le vote de la loi pour annoncer en fanfare qu’elle avait levé 22 millions d’euros pour devenir, selon ses mots « le leader européen » de la VSA.

Du côté des institutions censées préserver les libertés, comme la CNIL, on note une démission totale. Institution dotée de véritables capacités de contre-pouvoir pour mesurer les velléités étatiques de surveillance à sa création en 1978, la CNIL est devenue un service après-vente des mesures gouvernementales et s’applique méticuleusement à accompagner les entreprises à exercer une « bonne » surveillance afin de préserver les intérêts économiques de l’industrie en dépit de toute considération pour les droits et libertés collectives.

Cette première légalisation de la vidéosurveillance automatisée va nécessairement ouvrir la voie à toutes les autres technologies de surveillance biométrique : audiosurveillance algorithmique, reconnaissance faciale, suivi biométrique des personnes a posteriori…

Nous n’allons pas lâcher le combat, nous continuerons de dénoncer les mensonges du gouvernement, nous serons présents dès que la première expérimentation sera mise en œuvre pour documenter les abus inévitables auxquels conduisent ces technologies. Nous chercherons des moyens de les contester devant les tribunaux, et nous nous battrons pour que cette expérimentation ne conduise pas, comme c’est hélas probable, à leur pérennisation.
Et nous continuerons de refuser ces technologies et la Technopolice qu’elles incarnent, notamment en nous battant au niveau européen pour obtenir leur interdiction.

Alors si vous voulez nous aider dans cette lutte, gardez un œil sur ce qu’on pourra lancer dans les mois à venir, et si vous le pouvez n’hésitez pas à faire un don !

Fiasco du Stade de France : la VSA ne masquera pas les échecs du maintien de l’ordre

mardi 21 mars 2023 à 15:28

Alors que la loi JO est actuellement débattue à l’Assemblée, que l’article 7 va être examiné ce soir ou demain en séance, que plus de 250 élu·es appellent à s’opposer à la VSA, tout comme 38 organisations internationales et les eurodéputés, le gouvernement continue de défendre dur comme fer cette technologie. Et pour cela, il monte en épingle des problèmes de sécurité avec des arguments fallacieux :

Dans un précédent article, nous revenions sur les stratégies d’acceptation des technologies biométriques utilisées par les industriels et les politiques. Nous avions listé quelques-unes de ces stratégies, comme la dépolitisation des mesures de surveillance, l’expérimentation pour faire croire à leur côté éphémère, la dialectique du progrès versus les réactionnaires qui refusent de tels dispositifs… Et l’une d’entre elles consiste à être opportuniste, c’est-à-dire à utiliser n’importe quel événement ou actualité médiatique pour justifier l’utilisation de la vidéosurveillance algorithmique, et même parfois la reconnaissance faciale.
Le fiasco du Stade de France est un de ces évènements. Durant les débats à l’Assemblée et au Sénat, le ministère de l’Intérieur, de même que les députés et sénateurs de la majorité, n’ont pas cessé de faire référence à la finale de la Ligue des champions comme exemple ultime de la nécessité pour la France de se doter en algorithmes d’analyse d’images afin de garantir la sécurité lors de grands événements comme les Jeux olympiques. En réalité, il s’agit plutôt d’instrumentaliser une catastrophe pour cacher un échec, le cas du Stade de France étant un parfait contre-exemple pour montrer que la technologie sécuritaire ne fonctionne visiblement pas.

Rappel des faits

Le 28 mai 2022 avait lieu la finale de la Ligue des champions de football, opposant les clubs de Liverpool et du Réal de Madrid. Mais suite à une conjonction d’événements, la soirée a viré au drame : le RER B en grève, les autorités décidant de placer un point de contrôle pour plusieurs milliers de personnes en amont, à la sortie d’un corridor sous l’autoroute, finalement enlevé en fin de journée pour risque de piétinement. Ensuite des temps d’attente interminables avant d’entrer dans le stade, sans aucune information ni indication, des supporters agressés, les grilles du stade de France fermées, des personnes qui s’agglutinent et enfin l’usage de gaz lacrymogène par la police par dessus tout ça. Finalement, le coup de sifflet sera donné avec plus de 30 minutes de retard. Cet article, qui reprend le rapport cinglant de l’UEFA (Union des associations européennes de football), livre des témoignages glaçants de supporters.

L’instrumentalisation de l’événement

Dans un rapport sénatorial chargé de faire la lumière sur les événements et publié en juillet 2022, les élus étrillaient le ministère de l’Intérieur et son chef, G. Darmanin, pour « dysfonctionnement » et « défaillances ». L’Intérieur est accusé : « Les premières déclarations ne correspondaient pas à la vérité », et sont pointées les « défaillances » de la préfecture de police de Paris. Défaillances reprises par le rapport de l’UEFA, qui, à l’aune de centaines de témoignages, analyse les failles de la gestion sécuritaire de la préfecture de police de Paris et de l’Intérieur.

Si la situation n’a pas débouché sur une catastrophe, le rapport de l’UEFA
estime
notamment que c’est uniquement grâce au sang froid des supporters : « Mieux organisés et plus réactifs que les policiers et les gendarmes chargés de veiller à leur sécurité, ces fans de Liverpool ou de Madrid n’ont dû leur salut qu’à une solidarité sans faille et une capacité à se discipliner qui forcent l’admiration dans un contexte aussi résolument hostile à leur endroit. »

L’ensemble de ces rapports mettent donc clairement en lumière la responsabilité de la préfecture de police de Paris et du ministère de l’Intérieur dans l’échec de la gestion de cet événement. La colère ne faiblit pas pour les supporters de Liverpool, qui déplient lors d’un match en février dernier des banderoles qui accusent le ministre de l’Intérieur et la ministre des Sports d’être des « menteurs ».

Mais dès les jours suivant ce qui était déjà communément désigné comme le « fiasco du Stade de France », le maire de Nice, Christian Estrosi sautait sur l’occasion : « Nous sommes équipés, nous avons les logiciels, nous avons des start-ups et des grands industriels, y compris français comme Thalès, qui ont des systèmes très au point pour garantir les libertés individuelles, et que seules les personnes fichées puissent être détectées par l’intelligence artificielle ».

Du côté de l’Intérieur, après s’être embrouillé dans des pseudo-justifications de dizaines de milliers de faux billets imaginaires, G. Darmanin commence à réciter une fable : celle de la VSA et de sa nécessité afin d’éviter des violences comme celles ayant eu lieu au Stade de France. En janvier 2023 devant le Sénat , c’est la ministre des sports et jeux olympiques et paralympiques, Amélie Oudéa-Castéra (qui défend la loi avec le ministre de l’Intérieur) qui revient dessus lors de la présentation des dispositions de l’article 7 et se félicite de ne pas utiliser de reconnaissance faciale « En matière de sécurité, nous entendons enfin tirer tous les enseignements des événements survenus au Stade de France le 28 mai dernier ».

Et la vidéosurveillance algorithmique ne manque pas de soutien dans l’hémicycle, elle est plébiscitée par l’extrême-droite, qui reprend parfaitement l’argumentaire de la majorité :

Yoann Gillet (RN) : « L’organisation des Jeux olympiques et paralympiques rend cruciale cette question. Au vu des défaillances majeures constatées en mai 2022 au Stade de France, le groupe Rassemblement national réclame des actions concrètes et adaptées pour assurer la sécurité intérieure du pays. Le traitement algorithmique des images de vidéosurveillance, prévu à titre expérimental par l’article 7, est un outil indispensable pour identifier les risques qui pourraient menacer la sécurité des personnes pendant cette manifestation internationale ».

Le ministre de l’Intérieur utilise notamment un point, qu’on retrouve parmi une liste de plusieurs dizaines de recommandations dans le rapport sénatorial précédemment cité, à savoir celui qui préconise le recours à l’intelligence artificielle pour éviter d’autres situations comme celle du Stade de France. La petite histoire commence alors.

Lors des discussions sur la loi JO, le 24 janvier dernier, le sénateur Thomas Dossu, résume parfaitement l’absurdité de ce technosolutionnisme :

«  Disons-le clairement, voir émerger cette recommandation dans ce rapport avait déjà un caractère saugrenu. En effet, l’intelligence artificielle aurait-elle permis d’éviter la défaillance dans l’orientation des supporters anglais ? L’intelligence artificielle aurait-elle déconseillé l’usage immodéré des gaz lacrymogènes sur des supporters pacifiques ? L’intelligence artificielle aurait-elle tiré, en amont, les conclusions d’une grève touchant l’une des deux lignes de RER qui menaient au Stade de France ? En d’autres termes, l’intelligence artificielle aurait-elle fait mieux que les intelligences combinées du ministre Darmanin et du préfet Lallement ? Aussi surprenant que cela puisse paraître, je ne le pense pas. »

Ainsi, on passe d’un événement où la responsabilité des forces de police françaises est mise en cause à la soi-disant nécessité d’une extension des pouvoirs de surveillance de cette même police, à travers l’ajout d’algorithmes aux caméras. Cette instrumentalisation de l’événement pour cacher un échec est bien pratique. À un peu plus d’un an des Jeux olympiques, le gouvernement français joue sa crédibilité : s’il est incapable de gérer une finale de Ligue des champions, comment pourrait-il accueillir un méga-évènement comme les JO ? Plutôt que d’avouer son échec, il jette de la poudre aux yeux en déviant sur la pseudo nécessité de la vidéosurveillance algorithmique.
Depuis le début des débats sur la loi JO, la prévention des « mouvements de foule » est alors mise en avant par la majorité comme l’usage principal de cette technologie. D’une part, cela invisibilise – à dessein- les applications bien plus dangereuses de la VSA. D’autre part, le gouvernement infuse de cette manière dans le débat une source d’insécurité fabriquée de toute pièce et qui n’avait jamais pris autant d’importance lors des autres évènements organisés en France.

La VSA aurait-elle pu être utile pour éviter le fiasco ?

Idée reçue : La VSA permettrait à la police d’être mieux organisée

Le fiasco du Stade de France est de toute évidence instrumentalisé pour promouvoir la VSA : mais celle-ci pourrait-elle quand même être efficace face à de tels événements ?
Le problème majeur de cette finale de la Ligue des champions n’a pas été le manque de technologie pour gérer la foule, mais bien la stratégie du maintien de l’ordre de l’Intérieur et de la préfecture, comme l’exposent les différents rapports précédemment cités, avec des erreurs de gestion de foule (contrôle des tickets dans des endroits trop étroits, ligne de RER en grève) couplées au gazage à tout-va des supporters. On voit mal comment la vidéosurveillance algorithmique aurait permis à l’évènement d’être mieux organisé ou à la police d’être moins violente…

Si la rengaine du technosolutionnisme presque magique, qui pourrait résoudre tous les problèmes, est régulièrement utilisée, elle laisse complètement dubitative dans ce cas-là. Le Stade de France compte 260 caméras de vidéosurveillance, pourtant celles-ci n’ont pas servi à grand-chose. Les bandes ont d’ailleurs étrangement été effacées au bout d’une semaine, personne n’ayant visiblement pensé à les réquisitionner : ni le tribunal, ni les sénateurs n’ont pu avoir accès aux images. En quoi l’ajout d’algorithmes aurait-il pu empêcher un tel événement ? Au contraire, le fiasco du Stade de France montre bien qu’une politique de sécurité répressive et inhumaine, dans laquelle les caméras et la VSA s’inscrivent largement et où la police est en partie à l’origine des mouvements de foule, n’aboutit qu’à la violence

Si l’Intérieur souhaite réellement éviter la reproduction de tels événements, il faudrait plutôt songer à changer la doctrine du maintien de l’ordre et s’enquérir de gestion humaine de l’espace : s’assurer d’avoir des couloirs assez grands, d’indiquer les guichets, d’avoir des agents multilingues pour orienter les supporters, d’informer en temps réel sur ce qui se passe, et de défaire les préjugés des forces de l’ordre sur le « hooliganisme anglais »…

Idée reçue : La VSA permettrait de détecter et prévenir des mouvements de foule

Pour éviter les mouvements de foules, les chercheurs dans le domaine pointent l’importance de l’organisation spatiale en amont, la nécessité de poster des humains pour orienter et aider les personnes présentes, le désengorgement des transports… Toutes solutions sans rapport avec la vidéosurveillance, qui ne peut clairement rien pour prévenir les mouvements de foule.

La concentration de milliers de personnes en un même endroit nécessite certes une préparation en amont, mais une fois la foule réunie, qu’est ce que la VSA pourrait repérer qui ne serait perceptible par des humains ? Et si un mouvement de foule se déclenche effectivement, la technologie biométrique ne peut ni porter secours ni réorienter les personnes pour diminuer la densité. On voit donc mal ce que la VSA apporterait sur le sujet. Rappelons également que chaque semaine depuis des décennies, des stades se remplissent et se vident en France. A notre connaissance, il n’a pas été documenté ou identifié de nouveaux problème majeurs de mouvements de foule qui nécessite de changer le savoir faire humain habituellement mis en œuvre dans ces lieux.

Que ce soit dans la prévention ou la résolution de tels mouvements, la technologie n’est pas une aide. Ici, c’est au contraire une stratégie afin d’orienter le débat et le dépolitiser. La vraie question est ailleurs : la VSA n’est pas un outil « neutre » d’aide à la décision, mais s’inscrit dans des stratégies de répression qui ont conduit à produire le fiasco du Stade de France.

Mouvement de foule à Séoul, 2022

Un autre exemple utilisé pour justifier la VSA par son fervent défenseur – encore et toujours – P. Latombe est celui du mouvement de foule meurtrier le soir d’Halloween à Séoul en octobre dernier. Encore une fois, c’est un mauvais exemple, la Corée du Sud et notamment la ville de Séoul utilisent déjà la vidéosurveillance algorithmique, ce qui n’a pas empêché 156 personnes de mourir et des centaines d’autres d’être blessées lors de ce dramatique évènement. Dans ce cas-là, il semble que la faute incombe une fois de plus à la police, trop peu nombreuse sur place et occupée à arrêter des personnes pour trafic de drogues (une centaine de policiers présents pour 100 000 personnes entassées dans un quartier de Séoul), mais aussi à l’ignorance des appels d’urgence de personnes sur place et de ceux des pompiers.
Les spécialistes des mouvements de foule pointent1Voir la vidéo d’un chercheur en mouvement de foule, Mehdi Moussaïd https://www.youtube.com/watch?v=hlnZA89hVwo<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20365_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_20365_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); l’aménagement de l’espace comme la donnée la plus importante pour éviter ces phénomènes (présence d’issues de secours, nombre et largeur de celles-ci), suivie par l’organisation en amont (communication avec la foule, orientation des flux, organisation des secours). La technologie n’a pas de place là-dedans. Encore une fois, filmer une catastrophe ne permet pas de la prévenir.

Conclusion :

La référence au fiasco du Stade de France pour justifier le recours à la vidéosurveillance algorithmique ne tient pas l’analyse une seconde. Il est donc clair qu’il s’agit davantage d’une tentative d’utiliser un choc émotionnel provoqué par une catastrophe et d’essayer de couvrir un échec organisationnel et de répression policière. Mais surtout, en imposant ce faux débat dans les discussions sur la VSA, le gouvernement parvient à étouffer les véritables enjeux liés aux dangers de ces technologies. Le sujet des mouvements de foule a monopolisé les discussions sur la loi JO en commission des lois, empêchant les députés de questionner en profondeur les usages bien plus problématiques de ces algorithmes. Ainsi, la définition de « comportement suspect » ou le suivi biométrique des personnes dans la rue n’ont quasiment pas été débattus alors qu’il s’agit d’applications existantes et dangereuses, promues et développées par les entreprises de VSA qui seront chargées des expérimentations.

La légalisation de la VSA ne permettra pas d’empêcher les fiascos tels que celui ayant eu lieu lors de la finale de la Ligue des champions, mais contribuera bien à augmenter les capacités de surveillance de l’État et la répression de la population. Il faut contrer les manœuvres du gouvernement et regarder en face la société de surveillance qu’il est en train de faire accepter. Refusons toutes et tous l’article 7 !

References

References
1 Voir la vidéo d’un chercheur en mouvement de foule, Mehdi Moussaïd https://www.youtube.com/watch?v=hlnZA89hVwo
<script type="text/javascript"> function footnote_expand_reference_container_20365_2() { jQuery('#footnote_references_container_20365_2').show(); jQuery('#footnote_reference_container_collapse_button_20365_2').text('−'); } function footnote_collapse_reference_container_20365_2() { jQuery('#footnote_references_container_20365_2').hide(); jQuery('#footnote_reference_container_collapse_button_20365_2').text('+'); } function footnote_expand_collapse_reference_container_20365_2() { if (jQuery('#footnote_references_container_20365_2').is(':hidden')) { footnote_expand_reference_container_20365_2(); } else { footnote_collapse_reference_container_20365_2(); } } function footnote_moveToReference_20365_2(p_str_TargetID) { footnote_expand_reference_container_20365_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_20365_2(p_str_TargetID) { footnote_expand_reference_container_20365_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

JO sécuritaires : le podium des incompétents

jeudi 16 mars 2023 à 19:38

Le 8 mars dernier, les débats sur la loi relative aux Jeux Olympiques et Paralympiques de 2024 ont débuté en commission des lois à l’Assemblée nationale. Ce texte s’apprête, via son article 7, à amorcer la légalisation de la surveillance biométrique, en commençant par la vidéosurveillance algorithmique (VSA). Cette technologie, basée sur des algorithmes d’intelligence artificielle, est très complexe. Pour nous assurer que les députés soient en mesure de mener ces débats, d’en comprendre les enjeux techniques ainsi que la dangerosité de l’usage de la biométrie, La Quadrature du Net a envoyé à l’ensemble des parlementaires une note fournie et a organisé des sessions d’appel aux députés.

Le résultat a été stupéfiant : à peine une semaine avant le vote en commission, aucun député n’était réellement informé sur le sujet. Ces derniers justifient leur manque d’investissement sur le sujet en pointant du doigt un agenda législatif très chargé. D’autres assument ne pas s’intéresser au sujet et suivre l’avis des responsables du dossier au sein de leur parti. Alors qu’il s’agit de la légalisation d’une des technologies les plus graves de la dernière décennie, de l’acceptation en creux d’une société de surveillance, les députés sont aux abonnés absents.

Sans surprise donc, le jour des débats en commission, très peu de députés ont pris la parole sur le sujet. À coté de celles et ceux de droite ou d’extrême droite ne jurant que par la sécurité et la protection qui seraient inhérentes à la VSA, les élus de la majorité ont été totalement silencieux et n’ont quasiment pas pris la parole (les groupes Horizons et Renaissance n’ont déposé que quelques amendements). Plus effrayant encore, les quelques députés censés être chargés du sujet ont fait étalage de connaissances très approximatives sur les technologies utilisées par la VSA et ont énoncé nombre d’absurdités avec une grande assurance.

Le champion de cette catégorie est sans aucun doute Philippe Latombe, député Modem, fraîchement nommé à la CNIL et autoproclamé spécialiste de la VSA, alors même que ses liens avec l’industrie sont plus que visibles. Ce dernier assumait en effet pousser pour la légalisation de VSA au salon Expo Protection en novembre 2022, durant lequel il a d’ailleurs été qualifié de « coéquipier » par Sébastien Garnault, représentant du lobby CyberTaskForce. Il a également rencontré le lobby de la vidéosurveillance AN2V dont le président Dominique Legrand regrette que l’impasse ait été faite, dans le texte de loi, sur « la détection des anomalies sonores […] telles qu’un coup de feu ou un bris de vitre. ». Qu’il se console, Philippe Latombe est là pour proposer un amendement sur la surveillance sonore !

De manière générale, le passage en revue des interventions des députés démontre leurs véritables intentions politiques pro-business sécuritaire, mais révèle qu’une fois de plus les parlementaires ne savent pas ce qu’ils votent.

Les jeux de données

Une des incohérences les plus grossières avancées en commission a été de laisser penser qu’en maîtrisant les données fournies aux systèmes d’IA pour apprendre à reconnaître les prétendus comportements « suspects », on pourrait empêcher toute mauvaise utilisation ou « biais » de ces algorithmes. Cette affirmation révèle une compréhension très lacunaire de l’impact de l’usage des données captées dans l’espace public.

• Le caractère « biaisé » de certains jeux de données

la question de la construction du jeu de données — sa représentativité en terme de diversité de genre, d’ethnie, d’âge, etc. — est devenue incontournable. Le cas du logiciel COMPAS, utilisé par certaines juridictions américaines et dont l’objectif était de détecter les possibilités de récidive en fonction des éléments d’un dossier policier, a popularisé les dérives de l’automatisation de la prise de décision. Le programme avait appris sur un jeu de données qui embarquait les décisions racistes du dispositif de police américain concerné, et avait déduit qu’une des caractéristiques principales liée à la récidive était la couleur de peau. On peut trouver d’autres exemples plus récents en parcourant la AI Incident Database.

Le problème est souvent présenté de cette manière : « Lorsque l’on recueille des données et que l’on recherche des corrélations entre elles, on peut aboutir à des résultats orientés si dans le jeu de données, une corrélation est surreprésentée ». On qualifie alors souvent de « biaisé » le jeu de données de départ et l’algorithme ainsi entraîné à partir de ces données. Cette qualification sous-entend qu’il serait possible d’avoir un algorithme neutre, fournissant une analyse objective de la réalité. En fait, si l’on reprend l’exemple de COMPAS, ce n’est pas un « biais », une erreur, qui a conduit à l’automatisation de décisions racistes de la part de l’algorithme, mais bel est bien le fait que les données réelles à partir desquelles on entraîne les machines sont des données produites par des humains et donc teintées d’opinions et portant en leur sein toutes les oppressions existant dans la société. Présenter le problème comme un « biais », c’est penser que le problème est technique alors qu’il s’agit d’un problème politique. C’est aussi reproduire le vain idéal d’une technique neutre, qui n’existe pas : toute technique est formatée par ses conditions de production, et par l’intention de ses auteurs.

La VSA, c’est la surveillance des espaces publics. Dans ces lieux il y a une surreprésentation des personnes précaires et marginalisées par rapport à la population globale, il y a aussi plus d’hommes, moins de personnes très jeunes ou très âgées. Cette surreprésentation se retrouve donc aussi dans les flux vidéo issus de la surveillance de ces espaces. Peut-on pour autant dire que les jeux de données issus de ces captations sont « biaisés » ? Non, cet état de fait n’est pas la conséquence d’une erreur de constitution d’un jeu de données mais bien de la décision politique, ciblée et discriminatoire, de vouloir renforcer la répression précisément dans ces espaces.

Plutôt que de confronter la réalité politique du choix des lieux d’implantation et des populations visées, les défenseurs du texte se cachent derrière des réponses techniques inopérantes relatives à de prétendus « biais ». Par exemple, Philippe Latombe explique :

Le vrai souci sur l’IA c’est de s’assurer qu’il n’y a pas de biais. Il y a une façon assez simple qui est celle prévue par la CNIL notamment, c’est de dire  » on vous donne des jeux de données, on sait exactement ce qu’il y a dans ces jeux de données, on sait ce qu’on doit attendre comme résultat positif mais aussi ce qu’il ne faut pas que nous ayons comme résultat négatif », et dans ces cas là on saura si le traitement est loyal ou pas loyal, s’il y a des biais ou s’il y a pas de biais.(…) Il faut des jeux de données standardisées.

Pour résoudre ce soi-disant problème, il demande à ce que l’État fournisse lui-même des jeux de données aux entreprises, persuadé que cela permettrait de « pouvoir vérifier justement que les algorithmes n’ont pas de biais » et qu’avoir un laboratoire public [comme le NIST] permettrait de « prouver que l’algorithme il est loyal, il n’y a pas de biais, que les biais sont maîtrisés et qu’il n’y a pas de discrimination » (à écouter ici et ).
M. Latombe manie l’argument du recours à l’État comme figure d’autorité rassurante, faisant mine d’oublier que le droit à la sûreté individuelle est précisément censé protéger aussi contre l’arbitraire de l’État.

Il est rejoint sur ce point par le rapporteur Guillaume Vuilletet, qui explique que « le fait de fournir des données à un algorithme pour le nourrir, faire en sorte qu’il apprenne et qu’il évite les biais est consubstantiel de la démarche algorithmique ». Mais en réalité, cela signifie d’ouvrir l’accès aux images des caméras publiques à des entreprises privées pour qu’elles puissent utiliser les vidéos des personnes dans la rue, désignées cobayes involontaires, pour alimenter généreusement leurs logiciels. Une manne de données gratuites mises au profit d’entreprises privées.

La discrimination des populations imposée par la VSA n’est pas circonscrite à la seule sélection des jeux de données. En réalité, les conséquences les plus problématiques résultent davantage des fonctionnalités qui sont développées dans les logiciels et qui visent précisément les publics les plus vulnérables. Si le simple fait d’augmenter la répression dans les espaces publics est déjà discriminatoire, le fait que la VSA ait pour but de repérer les personnes allongées (personnes sans abri), les regroupements de personnes (personnes n’ayant accès qu’à des espaces publics pour se retrouver) tout en qualifiant ouvertement tous ces comportements de « suspects » est encore plus discriminatoire et problématique. Sans parler de l’atteinte potentielle aux droits fondamentaux de réunion, d’expression et de manifestation sur la voie publique. Cette question très inquiétante de la qualification des « comportements suspects » n’a cependant pas été développée lors des discussions en commission, alors qu’il s’agit d’un des problèmes majeurs de cette loi.

• Les usages possibles d’un jeu de données particulier

Plusieurs fois au cours des débats, les députés ont sous-entendu que les algorithmes n’étaient utiles que dans un cadre similaire à celui dans lequel ils ont été entraînés. Le rapporteur du texte, Guillaume Vuilletet lui-même, dit par exemple :

La réalité c’est que c’est parfaitement borné. Les fournisseurs ne pourront pas revendre ailleurs ce qu’ils ont fait avec des cas d’usage. Ce que nous expérimentons ce sont des cas d’usage. Comme les JO ne reviendront pas à Paris avant un siècle, avant qu’on ait la configuration géographique et périmétrique du stade de France ou d’un autre site, ça ne veut rien dire.

Le but est de minimiser le danger de la VSA et de prétendre que les algorithmes ne fonctionnent pas de manière générale mais seulement dans un contexte donné, parce que leur apprentissage s’est déroulé dans un contexte et pour un usage déterminé. Ceci est totalement faux. En réalité, les algorithmes entraînés sur les images des JO pourront tout à fait être utilisés à l’avenir pour surveiller les foules dans un contexte différent (une manifestation, par exemple). Encore pire, ces algorithmes développés par des entreprises privées utilisant la population comme cobaye pourront parfaitement être revendus, par la suite, à d’autres pays. Idémia, société française et leader du marché international de la reconnaissance faciale, pourra continuer à vendre ses algorithmes à la Chine.

On comprend qu’il importe peu que les données d’entraînement soient supprimées, ou propres à un contexte particulier : le résultat auquel elles ont permis d’aboutir sera conservé et pourra servir à une multitude d’applications qui peuvent être différentes du contexte premier de l’expérimentation.
Ce qui a de la valeur et qui sert à des usages futurs, ce sont la quantité de données utilisées et le modèle entraîné qui en résulte.

Est-ce par stratégie ou par méconnaissance que le rapporteur du texte affirme de telles absurdités ? Que ce soit l’une ou l’autre de ces explications, nous avons de grandes raisons de nous inquiéter de laisser l’avenir de la surveillance biométrique entre ses mains.

La fausse neutralité de l’automatisation

Ce qui ressort également des interventions des défenseurs de la VSA, c’est une croyance aveugle en la neutralité des outils techniques et en leur potentialité à résoudre facilement les problèmes politiques auxquels ces mêmes défenseurs seraient censés se confronter.

À entendre les députés, l’IA serait une forme de baguette magique statistique qui permettrait de révéler des corrélations invisibles pour l’humain et de détecter, comme par miracle, les signes précurseurs de mouvements de foule ou d’attentats terroristes. Cela relève du fantasme : toute la conception de l’algorithme est guidée du début à la fin par l’humain et implique un ensemble de prises de décisions techniques et politiques.

Outre le choix du jeu de données évoqué plus haut, dont on a vu qu’il influençait considérablement les décisions prises par l’algorithme, on trouve dans le processus d’élaboration d’un logiciel de VSA d’autres étapes qui orientent la décision finale et imposent à leurs concepteurs de faire des choix qui resteront inscrits dans le logiciel.

L’entraînement du modèle, c’est à dire le moment où les données sont fournies à l’algorithme pour qu’il établisse des corrélations et converge vers un état final satisfaisant, est également très important. On peut voir ce processus comme le calibrage de boutons à tourner : en fonction de la position des boutons, les différentes données de l’images sont pondérées différemment dans la décision d’activer, ou non, la détection. Ces boutons sont tournés de façon automatique par l’algorithme, mais le concepteur avance « à l’aveugle » : il favorise un résultat conforme à son attente, mais sans qu’il sache avec quels critères l’algorithme est arrivé à ce résultat. Si, pour rechercher une personne « suspecte », la combinaison finale de boutons tournés aboutit à ce que l’algorithme trouve plus efficace de repérer les personnes en survêtement, ou encore les personnes de telle couleur de peau, le concepteur ne saura même pas que c’est cette information qui est décisive pour l’algorithme. Il connaîtra juste la pondération que l’algorithme a faite et choisira d’opter pour cette configuration de paramètres car c’est celle-ci qui rend ce dernier le plus efficace.

Il y a donc trois moments décisifs dans la conception de l’algorithme qui vont orienter sa décision finale (et déclencher une intervention de la police) :
– Le choix de la finalité du logiciel de VSA : autrement dit, la définition du comportement suspect (point totalement évacué par les députés lors des débats),
– Le choix du jeu de données et la manière dont il est labellisé (on en parle juste au dessus),
– Et enfin cette étape de pondération d’usage de telle ou telle caractéristique (faite à l’aveugle, sans moyen de savoir si la donnée en question est sensible).

Difficile donc, quand on connaît le fonctionnement de cette technologie de prétendre qu’elle est neutre, tant son élaboration impose de faire des choix, des choix ayant des conséquences politiques importantes.

Ainsi, lorsque Philippe Gosselin (député LR, ex membre de la CNIL, et corapporteur avec Philippe Latombe d’une mission d’information sur la vidéosurveillance) dit : « L’algorithme n’est évidemment qu’un « outil » qui ne doit pas être confondu avec une « intrusion dans la vie privée » », il s’insère exactement dans ce discours visant à prétendre que les logiciels de VSA seraient « neutres ». Il escamote la question du pouvoir conféré à L’État et à la police par la technologie, et efface en quelques secondes les sombres traces de la surveillance dans l’Histoire moderne.

Fonctionnement des algorithmes

Tout au long des discussions, les députés ont tenté des explications techniques, parfois agrémentées de mots savants, sans que cela suffise à cacher leur manque de maîtrise du sujet. Voici notre podium.

Médaille de bronze

La médaille de bronze revient au multimédaillé et favori dans sa catégorie, Philippe Latombe, qui manipule les notions juridiques d’obligation de moyens et d’obligation de résultat sans que l’on comprenne vraiment où il veut en venir. Ce qu’on comprend surtout c’est qu’il estime impossible d’évaluer techniquement la VSA et qu’il faudrait absolument l’« expérimenter » pour garantir la sécurité lors des JO. Cela, sans jamais prévoir la manière dont on évaluera l’impact réel de telles technologies de surveillance de masse, alors même que l’on a jamais eu de retour sur les résultats sue les tests réalisés depuis des années sur la VSA. .

La vision assistée par ordinateur nécessite d’avoir recours au deep learning, ou « apprentissage profond », car les flux vidéo contiennent de grandes quantités de variables impliquant de très nombreux calculs. Une simple image HD compte plus de 2 millions de pixels : il n’est pas imaginable que toutes les dimensions que nécessite son analyse soit chapeautées par un humain.

Les calculs que nécessite l’analyse de telles images sont effectués dans différentes couches de réseaux de neurones. Chaque couche a un rôle précis et permet de pondérer l’algorithme pour lui faire adopter différents comportements. Certains algorithmes comportent de si nombreuses couches que leur fonctionnement est opaque, y compris pour les data scientists qui les manipulent, souvent à tâtons, sans pourvoir dire pourquoi tel réglage fonctionne mieux que tel autre : on se retrouve face à un divorce entre, d’un côté l’intention du programmeur et ses a priori, et de l’autre ce que la machine produit effectivement comme programme. Les ingénieurs ne peuvent avoir la main que sur la correction des erreurs du résultat (est-ce bien une personne qui court ?) et non sur la manière dont le résultat est obtenu (comment l’algorithme a déduit qu’il s’agissait d’une personne qui court).

Regarder les résultats d’un algorithme ne permet donc ni une vision claire de son fonctionnement et des décisions (aux conséquences politiques) qui l’ont conduit au résultat final, ni de savoir tout ce que l’IA n’a pas réussi à reconnaître.

Ainsi, quand Philippe Latombe bafouille « Dans le cas d’un système d’intelligence artificielle reposant sur un apprentissage, il est très compliqué de valider sur le plan technique la notion d’obligation de résultat. On valide éventuellement un logiciel ou un traitement algorithmique au départ, mais en fonction de l’apprentissage, ils peuvent évoluer. (…) il faut assumer le fait qu’il soit impossible de recourir à un algorithme s’il a évolué et ne répond plus entièrement aux conditions de départ. », pensant briller en mêlant jargon juridique et technique, il ne fait que démontrer qu’il n’est pas en mesure de mettre en place des garde-fous juridiques pour encadrer la surveillance biométrique (et pour cause, ce n’est pas possible tant le deep learning est une technologie opaque) ni même de garantir une quelconque efficacité. Bien essayé.

Médaille d’argent

À la deuxième place du podium, on trouve le rapporteur Guillaume Vuilletet qui, pour refuser l’ouverture et la transparence des algorithmes, explique : « S’il y a bien quelque chose qui peut servir aux terroristes c’est d’avoir le code et de comment le contourner (…) donner les codes des algorithmes, les rendre publics, c’est donner les outils à tous ceux qui voudraient pirater les algorithmes et voudraient les détourner. »

Car c’est bien connu : les terroristes, si facilement détectables avec une caméra et un bon logiciel, pourraient changer leur attitude pour laisser croire qu’ils ne sont pas terroristes. Car avant tout, le terroriste est fourbe.
Oui, c’est de l’ironie, mais c’est le député qui a commencé en nous prenant pour des buses.

Il n’est pas le seul, les députés ont à plusieurs reprises mentionné l’idée « d’ouvrir le code » pour dire à quel point il ne fallait surtout pas le faire.

Concernant les logiciels de VSA, il y a plusieurs choses qui peuvent être rendue accessibles :
– les données d’entraînement : en pratique, nombre de ces jeux de données sont déjà accessibles, sous des licences autorisant plus moins d’usages. Parmi eux, beaucoup sont utilisés de manières illégales et comportent, par exemple, des images récupérées sans consentement sur les réseaux sociaux.
– les algorithmes utilisés : il en existe de nombreux et eux aussi sont très fréquemment opensource
– le paramétrage de ces algorithmes : c’est la partie qui est développée par les entreprises de VSA et comme on l’a dit plus tôt qui détermine les décisions politiques.

Donc la question de la transparence des algorithmes n’est jamais posée correctement car elle est multiple. Surtout, cette problématique de l’ouverture du code efface la question de l’interdiction même de cette technologie. Plutôt que de chercher à rendre la surveillance biométrique plus transparente, autant se contenter de ne pas la légaliser.

Petite mention spéciale à Philippe Latombe, qui déclare « Donc ne commencez pas à dire « suspicion généralisée », ca va forcément être avec des biais, il faut ouvrir le code. Désolé mais vous demandez à Google d’ouvrir le code, le lendemain il vaudra plus rien, vous n’aurez pas les expertises pour pouvoir le faire. Y a des vrais sujets de praticité des choses

On comprend qu’il n’a aucune notion de ces éléments. Par exemple, Google n’a rien à perdre à rendre ses méthodes d’apprentissage publiques, elles sont déjà open sources pour la plupart (notamment la bibliothèque TensorFlow utilisée dans le monde entier) et la croyance que la mise à disposition d’un code lui enlève sa valeur est particulièrement datée. Les députés démontrent ainsi ne rien connaître à l’économie de l’opensource, qui est très importante dans le développement de l’intelligence artificielle (OpenAI, par exemple, a publié le modèle GPT2 qui est derrière ChatGPT) et n’abordent jamais le véritable sujet qui serait d’être plus transparent sur les pratiques policières pour lutter contre celles qui sont les plus discriminantes.

Médaille d’or

Enfin, la médaille d’or est attribuée à Philippe Latombe (encore lui, quel champion !), pour avoir expliqué – ici et – que les traitements de la VSA ne sont que des « traitements vectoriels », car : « Les images sont transformées en vecteur et en points». Ainsi, la foule ne serait qu’une agrégation de points attribués à des personnes. Et pour les bagages abandonnés ? C’est très simple :

On associe une personne que l’on transforme en un vecteur mathématique à un objet qui lui n’est pas un vecteur, et on voit si ça bouge et si il y a un écartement entre les deux. Cet écartement permet simplement d’éviter qu’il y ait un bagage abandonné sur le quai de la SNCF .

On le connaît bien cet enfumage ! On vous en parlait il y a deux semaines lorsqu’on analysait les stratégies des entreprises pour donner à la VSA une image acceptable. À entendre les promoteurs de la VSA, on donne une définition mathématique des données biométriques et hop ! Magie ! Il n’y a plus de biométrie. « Ce n’est pas une image d’une personne, c’est juste une suite de nombres ! Et ça, ce n’est pas un micro, c’est un capteur de vibration de l’air ! ». Bientôt on aura droit à « Non ce n’est pas de l’ADN, c’est juste une macromolécule définie par une suite de bases nucléiques, rien de biométrique ! ».

Oui, une image est faite de pixels, qui restent des nombres, et oui on peut modéliser ce qui y est représenté avec des vecteurs. Une image avec des personnes majoritairement Noires, si on la modélise mathématiquement avec des vecteurs par exemple, « contiendra » l’information qu’une majorité des personnes sont Noires. Le prétendu « passage en vecteur » n’empêche absolument pas au programme de reconnaître une démarche, des vêtements ou une couleur de peau, de conserver cette information, de lui donner un poids et de prendre des décisions en fonction de ces variables. Au contraire, c’est grâce à ce traitement que l’on peut exploiter plus facilement les données biométriques.

Une fois encore, M. Latombe — par ignorance ou délibérément ? — tente de minimiser la qualification biométrique de cette surveillance, qui est pourtant indiscutable. La reconnaissance de comportements suspects implique nécessairement l’analyse du corps humain, de sa démarche, de ses attributs physiques et de ses mouvements, pour l’individualiser et le reconnaître. Il sera ainsi possible de reconnaître que telle personne présente sur telle zone est la même que celle visible sur une autre caméra, par exemple en raison de sa démarche. Le suivi et l’identification biométrique (c’est-à-dire la capacité à dire qu’il s’agit de la même personne d’après ses caractéristiques physiques, quand bien même on ne connaît pas son nom) sont explicitement rendus possibles par l’utilisation de cette nouvelle technologie, et c’est l’un des dangers prégnants qu’elle fait peser sur le droit à l’anonymat.

Malheureusement, comme un certain nombre de ses collègues, le député Thomas Rudigoz (Renaissance) prétend que « ce traitement algorithmique exclut tout traitement biométrique. Ce que l’on recherche c’est à identifier les mouvements de foule, les densifications de personne à un endroit particulier, identifier des zones interdites qui seraient occupées par telle ou telle personne, des colis suspects et aucunement une reconnaissance faciale ou biométrique ».

Nous l’avons déjà répété plusieurs fois : la VSA met en œuvre des traitements de données biométriques. Les associations européennes ont récemment alerté les députés sur ce point et il est totalement faux de prétendre l’inverse. L’industrie a usé de stratégies de communication pour modifier le sens de ce mot et le cantonner à la reconnaissance faciale (nous avons décortiqué cette manœuvre ici). Il est désolant de voir une grande partie des députés se laisser mener en bateau par cette rhétorique sans sourciller.

Conclusion

Les débats en commission des lois ont montré que les députés de la majorité ne maîtrisent ni les enjeux techniques ni les dangers politiques des technologies de vidéosurveillance automatisée. À aucun moment la question de la définition politique et morale de la notion de « comportement suspect » n’a été sérieusement abordée, ni les problématiques du rapport de la population à la sécurité dans l’espace public — qui passe par bien d’autres solutions que la surveillance et la répression. La croyance que la « protection » ne peut être atteinte que par l’installation de dispositifs de surveillance est tellement ancrée dans l’imaginaire des gouvernants qu’ils ne savent même plus déceler les pouvoirs à limiter et les abus à prévenir.

De nouveau la dépolitisation des questions collectives, voulue par le marché de la sécurité et alimentée par les politiques univoques de ces dernières décennies qui mettent systématiquement le sentiment d’insécurité au centre du débat public, a achevé d’enterrer tout débat constructif, les parlementaires ne faisant même plus semblant de maîtriser l’objet de leurs lois.

Les débats commencent lundi prochain en séance. Il est urgent de mettre les députés face à leurs contradictions pour les convaincre de voter contre cet article 7. Rendez-vous sur notre page de campagne pour voir comment les contacter et refuser ensemble la surveillance biométrique !

38 organisations internationales contre la surveillance biométrique !

mardi 7 mars 2023 à 11:44

Hier, trente-huit organisations européennes et internationales, coordonnées par l’ECNL, ont dénoncé dans une lettre ouverte le projet du gouvernement français de légaliser la vidéosurveillance algorithmique en France. Nous les remercions de leur soutien à notre campagne et republions leur lettre ci-dessous.

Ces associations alertent l’Assemblée nationale sur le fait qu’il s’agirait de la première légalisation de la surveillance biométrique en Europe, qui confirmerait la position de la France comme fer de lance de la surveillance dans l’Union européenne. Cela n’est pas si étonnant quand on se souvient que le Conseil d’État avait courant 2021 écarté le droit de l’UE pour valider les pratiques de surveillance de la police et des services de renseignement, et que plus récemment la France s’est positionnée dans les négociations du règlement sur l’intelligence artificielle pour qu’il y ait le moins de restrictions possibles à l’usage de la surveillance biométrique.

Les Jeux olympiques sont instrumentalisés pour rendre acceptable un objectif politique pensé et voulu de longue date. Alors interpellons les député·es pour les convaincre de refuser ce premier pas vers une société où les logiciels de surveillance automatisée de nos corps deviendraient la norme. Rendez-vous sur notre page de campagne pour empêcher le vote de l’article 7 de la loi !

Lettre de la société civile aux députés français sur le projet de loi relatif aux Jeux olympiques et paralympiques 2024

Nous, 38 organisations de la société civile soussignées, exprimons notre vive inquiétude en ce qui concerne l’article 7 du projet de loi relatif aux Jeux olympiques et paralympiques de 20241 https://www.senat.fr/leg/pjl22-220.html <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Cette disposition crée une base juridique pour l’utilisation de caméras dotées d’algorithmes en vue de détecter des événements suspects spécifiques dans l’espace public.

Ce projet de loi ouvre la voie à l’utilisation d’une vidéosurveillance algorithmique intrusive sous couvert d’assurer la sécurité lors d’événements de grande ampleur. En vertu de cette loi, la France deviendrait le premier État de l’Union européenne (UE) à légaliser de manière explicite ce type de pratiques. Nous estimons que les mesures de surveillance introduites sont contraires au droit international relatif aux droits humains dans la mesure où elles ne satisfont pas aux principes de nécessité et de proportionnalité et impliquent des risques inacceptables vis-à-vis de plusieurs droits fondamentaux tels que le droit à la vie privée, le droit à la liberté de réunion et d’association et le droit à la non-discrimination.

Nous invitons les députés français à envisager le retrait de l’article 7 et à consulter la société civile en ouvrant un débat sur cette question. Si l’article était adopté, il créerait un précédent inquiétant en matière de surveillance injustifiée et disproportionnée dans l’espace public, au détriment des droits fondamentaux et des libertés.

Ce projet de loi représente une grave menace pour les libertés civiques et les principes démocratiques

Par sa simple présence dans des zones accessibles au public, la vidéosurveillance algorithmique non ciblée (souvent appelée « indiscriminée ») peut avoir un effet dissuasif sur les libertés civiques fondamentales, et notamment sur le droit à la liberté de réunion, d’association et d’expression. Comme l’ont souligné le Comité européen de la protection des données et le Contrôleur européen de la protection des données2https://edpb.europa.eu/system/files/2021-10/edpb-edps_joint_opinion_ai_regulation_fr.pdf<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, la surveillance biométrique a de graves répercussions sur les attentes raisonnables des personnes en matière d’anonymat dans les espaces publics et a un effet négatif sur leur volonté et leur capacité d’exercer leurs libertés civiques, car elles redoutent d’être identifiées, repérées ou même poursuivies à tort. En l’état, cette mesure menace l’essence même du droit à la vie privée et à la protection des données, ce qui la rend contraire au droit international et européen relatif aux droits
humains.

Conformément aux valeurs et aux principes démocratiques, lors d’événements de grande ampleur tels que les Jeux olympiques, il est essentiel de garantir l’entière protection de ces droits fondamentaux et d’offrir des conditions propices au débat public, et notamment à l’expression politique dans les espaces publics.

Par ailleurs, ce projet de loi allonge considérablement et dangereusement la liste des motifs justifiant la surveillance des espaces publics. Ainsi, les situations de mendicité ou de rassemblements statiques pourraient être qualifiées d’« atypiques », créant un risque de stigmatisation et de discrimination pour les personnes qui passent beaucoup de temps dans l’espace public, par exemple parce qu’elles sont sans abri, en situation de vulnérabilité économique ou de handicap. Il est prouvé que l’utilisation des technologies de surveillance crée un état de contrôle, de profilage et de suivi permanent qui nuit de manière disproportionnée aux personnes marginalisées. L’utilisation de systèmes algorithmiques pour lutter contre la criminalité a entraîné une surveillance excessive de la part de la police, une discrimination structurelle dans le système de justice pénale et une criminalisation disproportionnée des minorités raciales, ethniques et religieuses. Cela conduit à la violation, entre autres, du principe de non-discrimination inscrit dans les normes internationales et européennes relatives aux droits humains.

Ce projet de loi entraînerait une surveillance biométrique de masse

Le paragraphe III de l’article 7 du projet de loi dispose de manière erronée que les systèmes algorithmiques de vidéosurveillance ne traiteront aucune donnée biométrique. Le règlement général sur la protection des données (RGPD) de l’Union européenne définit les données biométriques comme des « données à caractère personnel résultant d’un traitement technique spécifique, relatives aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, qui permettent ou confirment son identification unique » (article 4-14 du RGPD).

Si l’usage de caméras dotées d’algorithmes est destiné à détecter des événements suspects spécifiques dans l’espace public, ces caméras capteront et analyseront forcément des traits physiologiques et des comportements de personnes présentes dans ces espaces. Il pourra s’agir de la posture de leurs corps, de leur démarche, de leurs mouvements, de leurs gestes ou de leur apparence. Le fait d’isoler des personnes par rapport à leur environnement, qui s’avère indispensable en vue de remplir l’objectif du système, constitue une « identification unique ». Tel que l’établit la loi sur la protection des données de l’UE et selon l’interprétation du Comité européen de la protection des données3https://edpb.europa.eu/sites/default/files/files/file1/edpb_guidelines_201903_video_devices_fr.pdf<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });, la capacité d’isoler une personne parmi une foule ou par rapport à son environnement, que son nom ou son identité soient connus ou non, constitue une « identification unique ».

Il est important de garder à l’esprit que l’utilisation de systèmes basés sur l’intelligence artificielle en vue d’analyser et de prédire les comportements, les émotions ou les intentions des personnes peut être tout autant intrusive et dangereuse que celle de systèmes visant à identifier des personnes. Le fait de placer des personnes dans une catégorie regroupant les comportements « à risque » sur la base de leurs données biométriques constituerait une catégorisation biométrique, que le Défenseur des droits et le projet de loi sur l’intelligence artificielle de l’UE définissent comme le fait de catégoriser des personnes physiques en fonction de
caractéristiques spécifiques en se fondant sur leurs données biométriques. Nous attirons l’attention des députés français sur le risque que cette mesure soit en contradiction avec la future loi de l’UE sur l’intelligence artificielle. Dans le cadre du travail législatif en cours, plusieurs amendements proposent l’interdiction totale de la catégorisation biométrique au regard des risques importants qu’elle entraîne pour les droits fondamentaux.

Les atteintes graves aux droits humains contreviennent aux exigences de nécessité et de proportionnalité

Pour garantir une véritable protection des droits humains, il convient de commencer par comprendre les limites des technologies et apporter des preuves de leur adéquation par rapport aux objectifs poursuivis. Dès lors, il est indispensable de mener une étude en vue de déterminer si les technologies introduites au nom de la sécurité répondent à des menaces avérées et quelles incidences leur utilisation aura sur les droits humains et les libertés civiques.

Bien que ce projet de loi présente des risques élevés pour les droits fondamentaux et malgré les preuves existantes4https://www.lemonde.fr/societe/article/2021/12/22/une-etude-commandee-par-les-gendarmes-montre-la-relative-inefficacite-de-la-videosurveillance_6106952_3224.html<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); de l’inefficacité de la vidéosurveillance en matière de prévention des infractions et des menaces à la sécurité, le gouvernement n’a pas démontré la conformité de ce projet de loi aux principes de nécessité et de proportionnalité et il n’a pas engagé de véritable dialogue avec la société civile au sujet de cette mesure. De ce fait, nous estimons que les restrictions des droits humains introduites ne satisfont pas aux trois critères de légalité, de but légitime et de nécessité et de proportionnalité. Elles constituent une violation des obligations incombant aux États en matière de droits humains en vertu de traités internationaux, et notamment du Traité international relatif aux droits civils et
politiques et de la Convention européenne des droits de l’homme.

Ce projet de loi constitue une étape vers la normalisation de pouvoirs d’exception en matière de surveillance

L’article 7 du projet de loi est représentatif de la tendance inquiétante des gouvernements à étendre leurs pouvoirs de surveillance dans le cadre de mesures d’urgence prises au nom de la sécurité. Or, il est rare que ces mesures dites « d’exception » soient levées rapidement. En lieu et place, les mesures de surveillance et de contrôle deviennent la norme. Souvent, elles ne s’accompagnent pas de garanties suffisantes et de mécanismes de responsabilité, elles manquent de transparence et elles ne font l’objet d’aucun dialogue avec les parties intéressées.

Cette tendance a été amplement constatée en ce qui concerne les mesures de surveillance prises au cours des deux dernières décennies sous couvert de la lutte contre le terrorisme et, plus récemment, avec les solutions numériques adoptées dans le contexte de la pandémie de Covid-195https://ecnl.org/publications/under-surveillance-misuse-technologies-emergency-responses<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_5').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Nous avons également observé par le passé que les Jeux olympiques peuvent servir de terrain d’expérimentation6https://www.scielo.br/j/cm/a/zcKnN9ChT9Wqc4hfGWKSk4d/?format=pdf&lang=en<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_20321_2_6').tooltip({ tip: '#footnote_plugin_tooltip_text_20321_2_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], }); pour doter l’État de pouvoirs renforcés qui sont ensuite maintenus lorsque la situation d’exception prend fin.

Ces exemples suffisent à justifier nos craintes de voir l’utilisation de la vidéosurveillance algorithmique perdurer au-delà de 2025. Si elle est adoptée, cette loi constituera également un précédent dangereux pour d’autres pays européens, tels que le Portugal et la Serbie, qui ont tenté, à ce jour sans succès, de légaliser une série de pratiques de surveillance biométrique risquées. La France endosserait alors le rôle peu reluisant de « leader » des politiques de surveillance au sein de l’Union européenne.

Nous espérons sincèrement que les députés français prendront des mesures de toute urgence en consultation avec la société civile afin de répondre aux préoccupations exposées ci-dessus.

<script type="text/javascript"> function footnote_expand_reference_container_20321_2() { jQuery('#footnote_references_container_20321_2').show(); jQuery('#footnote_reference_container_collapse_button_20321_2').text('−'); } function footnote_collapse_reference_container_20321_2() { jQuery('#footnote_references_container_20321_2').hide(); jQuery('#footnote_reference_container_collapse_button_20321_2').text('+'); } function footnote_expand_collapse_reference_container_20321_2() { if (jQuery('#footnote_references_container_20321_2').is(':hidden')) { footnote_expand_reference_container_20321_2(); } else { footnote_collapse_reference_container_20321_2(); } } function footnote_moveToReference_20321_2(p_str_TargetID) { footnote_expand_reference_container_20321_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_20321_2(p_str_TargetID) { footnote_expand_reference_container_20321_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }