PROJET AUTOBLOG


La Quadrature du Net

source: La Quadrature du Net

⇐ retour index

Jugement imminent contre la surveillance de masse

mercredi 7 avril 2021 à 14:44

D’ici deux ou trois semaines, le Conseil d’État rendra sa décision finale dans l’affaire la plus importante que La Quadrature ait jamais porté en justice : celle contre les services de renseignement français. Ce sera le terme de six années de procédure, de dizaines de mémoires et d’innombrables rebondissements qui auront contribué à faire de notre association une grande partie de ce qu’elle est aujourd’hui.

Cette aventure se clôt dans un fracas prodigieux. Coincé au pied du mur, le gouvernement français joue ses dernières cartes dans une stratégie aussi désespérée que destructrice : nier la légitimité des institutions européennes et, ainsi, placer la France dans une quasi-indépendance de fait vis-à-vis de l’Union européenne

Peu importe le droit, tout doit être sacrifié pour sauver la surveillance de masse.

Les juges contre la surveillance

L’aventure commence il y a sept ans. Le 8 avril 2014, nous nous réjouissions d’une « décision historique » : « la Cour de Justice de l’Union européenne (CJUE) venait de s’opposer au fichage systématique de nos communications en ligne ». De façon inédite, la Cour estime que le droit européen interdit qu’un État puisse obliger les opérateurs de télécommunications à conserver des données de connexion sur toute la population : liste des appels et messages émis et reçus par chaque personne, listes des antennes téléphoniques croisées par tous les téléphones portables, adresses IP permettant de lever l’anonymat sur Internet, etc. C’est notamment ce qu’impose la France, où chaque personne est considérée par l’administration comme un potentiel suspect à surveiller.

Alors que le gouvernement français aurait du abroger ce régime, un an après la décision de la Cour de justice, il n’en avait toujours rien fait : le 27 avril 2015, nous nous associons à FFDN et FDN pour lui demander officiellement d’abroger les décrets organisant la conservation généralisée des données de connexion. Par son silence, le gouvernement a refusé notre demande. Le 1er septembre 2015, nous avons saisi le Conseil d’État pour contester ce refus et, ainsi, faire tomber le système français de conservation généralisée des données (nous avons développé nos arguments pendant un an encore dans diverses écritures ici, ici, ou encore ).

Le 21 décembre 2016, tandis que notre affaire avançait doucement, intervenait ailleurs une deuxième décision historique de la Cour de justice : dans son célèbre arrêt Tele2, elle dénonçait la conservation généralisée des données de connexion imposée par les droits suédois et anglais. Il ne restait plus au Conseil d’État qu’à appliquer directement cette décision dans notre affaire française pour nous donner victoire. Mais la procédure n’allait pas suivre un déroulement classique.

Dialogue des juges

Par une décision du 26 juillet 2018, plutôt que de se soumettre directement à la Cour de justice de l’UE, dont l’autorité lui est supérieure, le Conseil d’État a préféré lui demander de confirmer une troisième fois sa position. Même si ce nouvel échange allongeait notre procédure de plusieurs années (trois ans, au final), nous l’appelions aussi de nos vœux : si la Cour européenne condamnait spécifiquement le droit français (de même qu’elle avait déjà condamné le droit suédois et anglais dans Tele2), nous espérions que le gouvernement n’aurait absolument plus aucune excuse pour ne pas renoncer à son système illicite de surveillance.

Les 9 et 10 septembre 2019, nous plaidions devant la Cour européenne contre la moitié des gouvernements européens venus en soutien de la France, de la Belgique et du Royaume-Uni, qui mettaient en œuvre le même régime illicite de conservation de données et se voyaient ainsi visés par des requêtes semblables à la nôtre (lire le texte de notre plaidoirie).

Fin d’une trilogie

Le 6 octobre 2020, la Cour de justice de l’UE rendait sa décision La Quadrature du Net, dernier chapitre de cette trilogie européenne. Hélas, comme l’espéraient le Conseil d’État et le gouvernement, la Cour est largement revenue sur son intransigeance des premiers épisodes et cherche désormais un « juste milieu » entre protection des libertés et surveillance de masse (juste milieu amer dans lequel nous avions vu une « défaite victorieuse »).

Si la Cour continue d’interdire par principe la conservation généralisée, elle ajoute une nouvelle exception en période d’état d’urgence sécuritaire, où cette surveillance de masse redevient licite. De plus, elle autorise aussi, même hors état d’urgence, que les fournisseurs d’accès à Internet soient contraints de conserver les adresses IP de l’ensemble de la population (mais uniquement des IP et non d’autres types de données). 

Concrètement, cela signifie que la police pourra demander à votre fournisseur d’accès à Internet quelle adresse IP vous était attribuée, par exemple, le 25 octobre 2020.

Si cette possibilité est un frein important à notre espoir de rétablir un équilibre plus favorable au droit à l’anonymat sur Internet, ce frein est en revanche compensé par une nouvelle protection posée par la Cour de justice : l’État ne peut pas imposer aux hébergeurs (forum, réseaux sociaux, plateforme de vidéo) de conserver l’adresse IP des personnes qui y publient des informations. Dans notre exemple, cela signifie que, même si la police connaît votre adresse IP, elle ne pourra pas savoir si c’est à partir de cette adresse que @jeancastou a publié telle caricature de Macron ou tel appel à l’insurrection le 25 octobre sur un service d’hébergement qui ne sera pas tenu de conserver les informations relatives aux contenus publiés. Par exemple, sur le service Mamot.fr que nous hébergeons, nous ne conservons ces données que 14 jours, et ce pour des raisons purement techniques.

On imagine donc que la levée de l’anonymat ne concernera principalement que des événements déterminés, « en cours », et sur des personnes précises. En effet, les enquêtes rétrospectives pouvant porter sur l’ensemble des activités en ligne de la population ont été rendues plus difficiles par les interdictions posées par la Cour de justice de l’UE.

Ce « juste milieu » est loin de nous protéger de la surveillance de masse tant le gouvernement sait déjà abuser des exceptions en matière d’état d’urgence. Et pourtant, même si les exigences posées par la Cour on été revues à la baisse, le droit français est encore très loin de les respecter : actuellement, en France, la conservation généralisée des données de connexion n’est limitée ni aux périodes d’état d’urgence ni aux seules adresses IP (pour rappel, sont aussi conservées en permanence et pendant un an les listes d’appels, messages et positions des antennes téléphoniques rencontrées par toute la population). La Cour de justice a été explicite dans sa décision : le droit français viole les libertés fondamentales protégées par le droit de l’Union.

Affront désespéré

Cette situation ressemble à celle à laquelle nous espérions parvenir en 2018 : le gouvernement français est au pied du mur, sans aucune porte pour se dérober. La Cour de justice de l’UE a été claire : il doit réformer le droit en profondeur afin de limiter la conservation généralisée aux périodes d’état d’urgence et aux adresses IP. 

Et pourtant, le gouvernement tente encore de fuir par un affront désespéré : dans son récent mémoire en défense, il prétend que la Cour de justice aurait usurpé ses pouvoirs car, contrairement à ce qu’elle prétend, les traités européens lui interdiraient de limiter les capacités des États membres en matière de lutte contre le terrorisme et de surveillance sécuritaire.

Si cet affront est désespéré, c’est d’abord car il est absurde en droit : l’article 19 du Traité sur l’UE (TUE) prévoit bien que c’est à la Cour de justice que revient « l’interprétation et l’application des traités », et l’article 344 du Traité sur le fonctionnement de l’UE (TFUE) souligne que ces questions ne peuvent être tranchées autrement. Dans sa jurisprudence bien établie, le Conseil d’État admet d’ailleurs déjà clairement qu’il doit se soumettre aux interprétations que la Cour de justice donne des traités.

Le gouvernement ne donne au Conseil d’État aucun argument juridique pour justifier qu’il renonce à une jurisprudence aussi fondamentale. En vérité, le gouvernement ne se donne même pas la peine d’aller sur le terrain juridique afin de débattre de la légalité d’un tel régime de conservation. Il se contente d’utiliser de mauvais arguments de philosophie politique, tout en mobilisant quelques jugements isolés rendus dans d’autres pays et qui n’ont pas vraiment de lien avec notre affaire (lire notre mémoire pour le détail de notre réponse).

Frexit sécuritaire

Au delà de la discussion juridique, le plus surprenant dans la position du gouvernement est qu’elle contredit la posture européenne de LREM.

En souhaitant retirer à la Cour de justice sa légitimité pour interpréter les traités européens en dernier ressort, le gouvernement français remet en cause l’existence même d’un ordre juridique européen : si chaque État pouvait décider seul du sens des traités européens, l’Union européenne ne serait plus qu’une juxtaposition d’ordres nationaux indépendants les uns des autres, libérés de toute institution capable de les soumettre à un ensemble commun de normes. Ainsi, afin de maintenir son système de surveillance de masse contraire aux droits humains, la France souhaite devenir indépendante de l’Union européenne sans avoir à la quitter formellement.

Plus étrange encore : la stratégie anti-européenne du gouvernement conduit à saper sa position en matière de lutte anti-terroriste. À suivre sa nouvelle position, le règlement de censure anti-terroriste, initialement demandé par la France et bientôt adopté par le Parlement européen, pourrait ne pas être applicable en France puisque l’Union européenne ne serait pas compétente en matière de lutte contre le terrorisme… 

Cette contradiction invraisemblable montre que la défense du gouvernement tient davantage à un sursaut désespéré que d’une stratégie d’ensemble bien mûrie. Mais cette contradiction nous montre autre chose : la lutte anti-terroriste n’est pas sa véritable préoccupation dans notre affaire.

Surveillance politique

Le 22 mars 2021, nous participions à une séance orale d’instruction devant le Conseil d’État. Le directeur général de la sécurité intérieur (DGSI) expliquait alors que la décision de la Cour de justice ne remettait pas vraiment en cause l’efficacité de la lutte contre le terrorisme. En effet, cette lutte pourra continuer à être mise en œuvre puisqu’elle est directement concernée par les nouvelles exceptions prévues par la Cour de justice et bénéficie déjà aujourd’hui d’un arsenal législatif très large (beaucoup trop large). La principale crainte de la DGSI était ailleurs : que les services de renseignement ne puissent plus efficacement surveiller les personnes susceptibles de participer à des « groupements violents », mentionnant explicitement le cas des gilets jaunes, ou les personnes représentant un danger pour les « intérêts économiques et industriels majeurs de la France ».

Si la franchise est surprenante, elle recentre le débat : la lutte contre le terrorisme n’est pas vraiment la raison qui pousse le gouvernement à vouloir s’affranchir de la protection des libertés ; l’enjeu est le maintien de la répression politique, dans le contexte actuel où la moindre manifestation est considérée comme un groupement potentiellement violent et où les militants soucieux de justice sociale et écologique sont considérés comme nuisant à la sécurité et aux intérêts des grandes industries du pays.

C’est ce qu’annonçait déjà l’Élysée en 2019, dans sa feuille de route à cinq ans sur le renseignement : « l’analyse et le suivi des mouvements sociaux et crises de société par les services de Renseignement constituent une priorité ». L’Élysée dénonce notamment des « affirmations de vie en société qui peuvent exacerber les tensions au sein du corps social », telles que des « revendications d’ordre […] éthique ».

À la suite de la DGSI, divers procureurs et hauts gradés de la police ont tenté de corriger cette position embarrassante par une posture sécuritaire beaucoup plus convenue. Sans preuve ni chiffre, ces hommes ont juré que la police ne pourrait plus jamais travailler sans pouvoir consulter la liste complète des antennes téléphoniques croisées par chaque personne depuis un an. Nous n’avons pas manqué de rappeler que la police s’en était très bien passée au cours des siècles précédents et que, même aujourd’hui, elle ne manque pas d’outils nouveaux, nombreux et perfectionnés pour mener à bien ses enquêtes (lire notre dernier mémoire à ce sujet).

Bref, pas grand chose n’a pu effacer cette impression amère : le gouvernement est prêt à payer le prix fort (remettre en cause la construction européenne) pour continuer à nous surveiller massivement pour des finalités politiques et de contrôle social.

Finalités illicites

C’est à ce sujet qu’intervient le second apport majeur de la trilogie européenne contre la surveillance de masse : la Cour de justice interdit aux États membres d’exploiter des données de connexion pour des finalités politiques. Elle n’autorise que la lutte contre la « criminalité grave » ou pour défendre la sécurité nationale

Comme on l’a vu, la France souhaite aller et va déjà bien au-delà. La loi française prévoit un très large éventail de finalités qui vont de la lutte contre les manifestations illicites à la défense des traités européens, en passant par la lutte contre le petit trafic de drogue ou la défense des « intérêts économiques, industriels et scientifiques majeurs de la France ».

Cette longue liste vient de la loi de renseignement de 2015. Ici aussi, nous avons saisi le Conseil d’État pour demander l’annulation des cinq décrets d’application de cette loi. Ici aussi, ces cinq affaires ont conduit le Conseil d’État à interroger la Cour de justice, qui nous a largement donné raison en rappelant sans nuance que la surveillance doit se limiter à la lutte contre la criminalité grave et à la protection de la sécurité nationale.

Au passage, la Cour a rappelé que, contrairement à ce que prévoit la loi renseignement en France, les mesures de surveillance doivent être soumises au contrôle préalable d’une autorité indépendante disposant d’un véritable pouvoir de contrainte. Elle a aussi souligné que les « boites noires », ces algorithmes supposés détecter automatiquement des comportements suspects en analysant l’ensemble du réseau, relevaient de la surveillance de masse illicite.

Comme pour le reste, nous vous invitons à lire notre récent mémoire pour le détail de notre argumentation. 

Cette question de « finalités politiques » des mesures de surveillance a été la toute première affaire que La Quadrature a porté devant des juges en 2015, juste avant d’attaquer les décrets instaurant la conservation généralisée des données de connexion puis de s’en prendre à la loi renseignement. C’est par cette lutte initiale que nous avons appris à agir en justice. Cette lutte est à la fois le plus ancienne et probablement la plus importante que nous avons portée en justice. Les effets de la future décision du Conseil d’État risque d’être considérables : si nous nous gagnons, ce sera la fin de la conservation généralisée des données de connexion, la limitation des finalités, l’apparition d’un contrôle indépendant effectif. Si nous perdons, la France se placera en indépendance de fait vis à vis de l’Union européenne afin de poursuivre sa surveillance de masse.

GendNotes : entre flicage inavoué et mauvaise foi

vendredi 26 mars 2021 à 15:56

Il y a plus d’un an, le gouvernement autorisait par décret la gendarmerie à utiliser une application de prise de notes sur téléphone mobile intitulée GendNotes. Nous avions déposé un recours contre ce décret devant le Conseil d’État l’année dernière et venons tout juste de recevoir la défense du ministère de l’intérieur. Mais, alors que celle-ci aurait mérité plus de temps pour y répondre, la plus haute juridiction administrative accélère le pas et a d’ores et déjà prévu une audience lundi prochain, 29 mars, lors de laquelle le rapporteur public conclura au rejet partiel de notre recours.

Comme nous le dénoncions au moment de la publication du décret, l’application GendNotes fait l’impasse sur les garanties les plus élémentaires (lire notre premier mémoire). Alors que la CNIL pointait du doigt le fait que la rédaction du décret permet un transfert des données de GendNotes vers un nombre illimité d’autres fichiers de police, elle fut parfaitement ignorée. Nous alertions alors contre le fait que GendNotes est un cheval de Troie de la reconnaissance faciale puisqu’il permet une alimentation du fichier TAJ, lequel autorise de tels dispositifs de reconnaissance faciale.

La stratégie de défense du gouvernement consiste à affirmer que l’application GendNotes ne permettrait pas d’alimenter le TAJ. Le rapporteur public semble vouloir donner tort au gouvernement sur ce point puisqu’il prononcera lundi des conclusions qui vont dans le sens d’une annulation partielle du décret, précisément sur la question du transfert de données vers d’autres fichiers (dont le TAJ) ultérieurement à leur collecte dans GendNotesEnviron deux jours ouvrés avant l’audience, le sens des conclusions du rapporteur public est communiqué aux parties. Sans connaître le raisonnement tenu, nous connaissons déjà le résultat. Il faut cependant garder en tête que les conclusions du rapporteur public ne lient pas la formation de jugement et que le Conseil d’État, dans son arrêt final, peut très bien contredire les conclusions de son rapporteur public..

En revanche, le rapporteur public semble faire l’impasse sur la proportionnalité de ce traitement de données et les garanties apportées. Alors que GendNotes vise aussi à collecter des données sensibles (même si celles-ci ne peuvent être transférées dans d’autres fichiers de police) dans le seul objectif de faciliter la vie des gendarmes, nous dénoncions un gadget aux graves conséquences sur les droits et libertés. Le rapporteur public semble sur le point de valider un système dans lequel la police décide seule des informations collectées, sans que ne soit prévu un quelconque contrôle sur la pertinence des données ainsi collectées. Il semble également vouloir faire fi du principe de « nécessité absolue » pourtant requis par le droit et, nous le pensons, totalement absent dans ce dispositif gadget de prises de notes.

Dès 2017, un rapport de l’Assemblée nationale indiquait déjà l’existence et l’utilisation de l’application GendNotes. Celle-ci n’est toutefois qu’un élément parmi d’autres d’une désormais très longue liste de dispositifs de police utilisés en toute illégalité puis autorisés a posteriori. On pourrait citer le cas de la loi renseignement de 2015 qui légalisait les pratiques préexistantes des services de renseignement. On pourrait aussi citer l’exemple des drones, utilisés depuis de nombreuses années pour surveiller les manifestations avant que nous les fassions interdire par le Conseil d’État, et que la proposition de loi Sécurité Globale veut maintenant légaliser. Et que dire de la reconnaissance faciale du TAJ qui existait des années avant la création formelle du fichier de police et que la loi Sécurité Globale vise à étendre ?

Nous avons malgré tout, dans l’urgence, répondu au gouvernement. La décision finale qui suivra l’audience de lundi devrait arriver dans les prochaines semaines. Pour continuer ce combat sur des fronts de plus en plus nombreux, nous avons, plus que jamais, besoin de votre aide grace à vos dons.

Lettre commune de 61 organisations européennes pour demander le rejet du règlement de censure antiterroriste

jeudi 25 mars 2021 à 11:17

Avec 60 organisations européennes, nous demandons aux parlementaires européens de rejeter le projet de règlement de censure antiterroriste sur lequel ils sont appelés à voter le 28 avril prochain.

Ce texte sécuritaire obligera l’ensemble des acteurs de l’Internet à censurer en une heure n’importe quel contenu signalé comme terroriste par la police, et ce sans intervention préalable d’un juge. Cette obligation de retrait en une heure est exactement celle qui, au sein de la loi Avia, a été censurée par le Conseil constitutionnel en juin 2020. Plusieurs parlementaires français continuent pourtant à défendre ce projet.

La lettre en PDF (et en anglais), recopié ci-dessous avec la liste des signataires :

Chers membres du Parlement européen,

Nous vous écrivons pour vous faire part de nos préoccupations concernant la proposition de règlement de l’Union européenne relatif à la prévention de la diffusion de contenus à caractère terroriste en ligne. Nous invitons les membres du Parlement européen à voter contre l’adoption de la proposition.

Depuis 2018, nous, les organisations de défense des droits humains, associations de journalistes et chercheurs soussignés, mettons en garde contre les graves menaces que cette proposition législative fait peser sur les droits et libertés fondamentaux, en particulier la liberté d’expression et d’opinion, la liberté d’accès à l’information, le droit à la vie privée et l’État de droit.

Grâce au travail de l’équipe de négociation du Parlement européen, à un débat élargi et à la participation de la société civile, un certain nombre de problèmes ont été abordés au cours des trilogues entre le Parlement européen et le Conseil de l’Union européenne.

Toutefois, malgré le résultat des dernières négociations du trilogue, le texte final de la proposition de règlement contient toujours des mesures dangereuses qui, à terme, affaibliront la protection des droits fondamentaux dans l’UE. Cela risque également de créer un dangereux précédent pour la réglementation des contenus en ligne dans le monde entier.

La proposition de règlement doit faire l’objet d’un vote final en plénière au Parlement européen en avril 2021. Nous invitons les membres du Parlement européen à voter contre l’adoption de la proposition pour les raisons suivantes :

1. La proposition continue d’inciter les plateformes en ligne à utiliser des outils automatisés de modération de contenu, tels que des filtres de téléchargement

Le court délai imposé par la proposition de règlement aux hébergeurs en ligne pour retirer le contenu considéré comme étant à caractère terroriste incite fortement les plateformes à déployer des outils automatisés de modération de contenu, tels que les filtres de téléchargement. Les pratiques actuelles de modération de contenu se caractérisent par le profond manque de transparence et de précision de la prise de décision automatisée. Parce qu’il est impossible pour les outils automatisés de différencier invariablement le militantisme, les contre-discours, et la satire à propos du terrorisme du contenu considéré comme terroriste lui-même, une automatisation accrue entraînera à terme la suppression de contenus légaux comme le contenu journalistique, le traitement discriminatoire des minorités et de certains groupes sous-représentés. Les plateformes suppriment déjà d’énormes quantités de contenus publiés par des survivants, des civils ou des journalistes documentant la violence dans les zones de guerre, tel que le montre le travail des Syrian and Yemeni Archives, ce qui peut entraver les efforts de responsabilisation. La proposition de règlement, qui manque de mesures de protection afin d’empêcher de telles pratiques de suppression erronées lorsque des outils automatisés sont utilisés, ne fera que renforcer cette tendance. En outre, les filtres de téléchargement peuvent avoir un effet négatif sur l’internet, notamment en ce qui concerne son architecture ouverte et ses éléments constitutifs interopérables.

2. Il existe un manque cruel de contrôle judiciaire indépendant

La proposition de règlement demandent aux États membres de désigner, à leur discrétion, les autorités compétentes qui seront investies des pouvoirs nécessaires pour mettre en œuvre les mesures prévues par le règlement, notamment l’émission d’injonctions de retrait de contenu. Même si la proposition indique que les autorités doivent être objectives, non discriminantes, respectueuses des droits,nous pensons néanmoins que seuls les tribunaux ou les autorités administratives indépendantes faisant l’objet d’un contrôle judiciaire devraient avoir le pouvoir d’émettre des injonctions de suppression de contenu. L’absence de contrôle judiciaire constitue un risque grave pour la liberté d’expression et l’accès à l’information. Il porte également atteinte à la Charte des droits fondamentaux, qui protège la liberté de recevoir et de communiquer des informations et stipule que l’expression licite est protégée et ne devrait être limitée qu’ultérieurement, par un tribunal et sur demande légitime.

3. Les États membres émettront des injonctions de suppression transfrontalières sans aucun garde-fou

Selon les résultats du trilogue, toute autorité compétente aura le pouvoir d’ordonner la suppression d’un contenu en ligne, hébergé n’importe où dans l’UE, dans un délai d’une heure. Cela signifie qu’un État membre peut étendre sa compétence d’exécution au-delà de son territoire sans contrôle judiciaire préalable et sans tenir compte des droits des personnes dans les juridictions concernées. Compte tenu des graves menaces qui pèsent sur l’État de droit dans certains États membres de l’UE, la confiance mutuelle qui sous-tend la coopération judiciaire européenne pourrait être sérieusement compromise. En outre, la procédure de notification, émise à l’État membre concerné, et de vérification parce même État, prévue dans le texte actuel, ne contient pas de garanties suffisantes contre une intervention excessive et les abus de pouvoir d’un État. Elle ne permettra pas non plus de résoudre les désaccords entre les États membres sur ce qui relève du terrorisme, de l’humour, de l’expression artistique ou du reportage journalistique.

Nous demandons instamment au Parlement européen de rejeter cette proposition, car elle pose de graves menaces aux droits et libertés fondamentaux, en particulier la liberté d’expression et d’opinion, la liberté d’accès à l’information, le droit à la vie privée et l’État de droit. De plus, elle créera un dangereux précédent pour toute future législation européenne réglementant l’écosystème numérique en faussant le cadre d’application de la loi sous prétexte de renforcer le marché unique numérique. Par conséquent, la réglementation sur les contenus terroristes dans son état actuel n’a pas sa place dans le droit européen.

Signataires

Access Now, International

Amnesty International

Antigone, Italian

ARTICLE 19, International

Asociația pentru Tehnologie și Internet (ApTI), Romania

Association of European Journalists (AEJ), Belgium

Bits of Freedom, the Netherlands

Bulgarian Helsinki Committee, Bulgaria

Centre for Democracy & Technology (CDT), International

Chaos Computer Club (CCC), Germany

Civil Liberties Union for Europe (Liberties), International

Comité de Vigilance en matière de Lutte contre le Terrorisme (Comité T), Belgium

Committee to Protect Journalists (CPJ), International

Communia, International

Digitalcourage, Germany

Digitale Gesellschaft, Germany

Digital Rights Ireland, Ireland

Državljan D, Slovenia

Electronic Frontier Finland (Effi), Finland

Electronic Frontier Foundation (EFF), USA

Elektroniks Forpost Norge (EFN), Norway

Entropia e.V., Germany

epicenter.works, Austria

European Digital Rights (EDRi), International

European Federation of Journalists (EFJ), International

Fitug e.V., Germany

Föreningen för digitala fri-och rättigheter (DFRI), Sweden

Freemuse, International

Global Forum for Media Development (GFMD), International

Global Voices, International

Helsinki Foundation for Human Rights, Poland

Hermes Center, Italy

Homo Digitalis, Greece

Human Rights Monitoring Institute, Lithuania

Human Rights Watch, International

International Commission of Jurists, International

Internationale Liga für Menschenrechte, Germany

International Federation for Human Rights (FIDH), International

Internet Governance Project, School of Public Policy at the Georgia Institute of Technology

Internet Society, International

IT Political Association of Denmark (IT-Pol), Denmark

Irish Council for Civil Liberties, Ireland

La Quadrature Du Net (LQDN), France

Latvian Human Rights Committee, Latvia

Liga voor de Rechten van de Mens, the Netherlands

Liga voor Mensenrechten, Belgium

Ligue des Droits de l’Homme, France

Ligue des Droit Humains, Belgium

Mnemonic, International

Open Technology Institute, USA

Panoptykon Foundation, Poland

Ranking Digital Rights, USA

Reporters Without Borders (RSF), International

Rights International Spain, Spain

Statewatch, the United Kingdom

Vrijschrift.org, The Netherlands

Wikimedia Deutschland, Germany

Wikimedia France, France

WITNESS, International

Xnet, Spain

7amleh -The Arab Center for the Advancement of Social Media, Palestine

Sécurité Globale : le Sénat dit oui à la surveillance de masse

vendredi 19 mars 2021 à 11:27

Hier, le Sénat a voté à son tour la proposition de loi sur la « Sécurité globale », cinq mois après le vote en première lecture à l’Assemblée nationale. S’agissant d’une procédure accélérée, la prochaine étape sera directement en commission mixte paritaire, peut-être dès le début du mois d’avril. Au vu de la version du texte votée par le Sénat, il n’y a malheureusement rien à attendre de cette commission. Nos espoirs reposent maintenant sur le Conseil constitutionnel, qui devra censurer largement les dispositions de ce texte ultra-sécuritaire.

Il y a deux semaines, nous dénoncions le texte adopté par la commission des lois du Sénat sur la proposition de loi dite de « Sécurité globale ». Après trois jours de débat en hémicycle, le Sénat vient cette fois-ci d’adopter le texte dans son ensemble.

Il a donc dit oui à l’intensification de la vidéosurveillance fixe, à l’extension de la liste des personnes pouvant avoir accès à la surveillance de la voie publique, à la transmission en direct des images des caméras-piétons, aux drones, aux hélicoptères et à l’article 24.

Le Sénat ne s’est malheureusement pas arrêté là. Il a également, par plusieurs dispositions, aggravé le texte. Mais soyons rassuré·es : il s’agit désormais de la « proposition de loi pour un nouveau pacte de sécurité respectueux des libertés ».

Surveillance vidéo des cellules de centres de rétention administrative (CRA) et de garde à vue

Le pire ajout du Sénat est peut-être celui-ci. S’accordant avec le gouvernement, les rapporteurs ont fait adopter une disposition permettant au ministre de l’intérieur de mettre des caméras dans les chambres d’isolement des centres de rétention administrative et des cellules de garde à vue.

Les propos du gouvernement sur cet ajout ont été proprement indignes. Alors que la France est régulièrement interpellée par différentes associations depuis des années, que le Contrôleur général des lieux de privations de libertés pointe régulièrement les conditions de détention indignes, que les condamnations par des juridictions françaises et internationales pleuvent, Gérald Darmanin a préféré opter pour une stratégie du mensonge en niant les graves atteintes aux droits des personnes incarcérées. Le tout pour défendre la mise en place de vidéosurveillance dans les cellules.

Derrière l’écran de fumée de la lutte contre les suicides et mutilations (alors même qu’on peine à imaginer en quoi une caméra de vidéosurveillance permettrait de lutter contre ces situations de détresses humaines), le ministre de l’intérieur, le Sénat et ses rapporteurs ont créé une surveillance permanente du peu d’intimité qui reste aux personnes retenues.

Interpellé sur l’incohérence à vouloir mettre des caméras dans des lieux insalubres, Gérald Darmanin a répondu par le déni, détournant le sujet en estimant qu’il faudrait plus de CRA et qu’« on a l’argent pour construire des CRA ». Cet argent magique n’est, visiblement, pas prévu pour améliorer le respect des conditions de détention. Mais, surtout, alors que le débat portait sur les conditions indignes d’incarcération, M. Darmanin transformait les propos de l’opposition en un soi-disant « procès scandaleux » sur de possibles actes de tortures en milieux de rétention, dans une tentative bien grossière de créer une « affaire dans l’affaire ».

Des caméras-piétons pour les gardes-champêtres

Autre ajout aggravant : l’autorisation d’une « expérimentation » pour permettre aux gardes-champêtres d’utiliser des caméras individuelles et de filmer les « incidents » se produisant ou susceptibles de se produire pendant leur intervention.

Après la police nationale et la police municipale, et après les services de sécurité des transports, c’est donc une nouvelle catégorie d’agents qui aura accès à la vidéosurveillance mouvante. Prétextant comme toujours d’une capacité soi-disant « pacificatrice » de ce dispositif — et faisant oublier que la caméra-piéton était à la base une idée de l’ancien ministre Bernard Cazeneuve pour compenser son refus de la proposition des « récépissés » de contrôle d’identité —, le gouvernement légitime encore une fois un nouveau dispositif de surveillance.

Drones : les mains libres pour le ministre de l’intérieur

Concernant les drones, l’interdiction de la reconnaissance faciale pour les images captées décidée en commission des lois demeure, mais c’est bien le seul point positif. Le Sénat a accepté de permettre également à la police municipale (et non plus seulement à la gendarmerie ou la police nationale) d’utiliser des drones pour surveiller la voie publique et constater certaines infractions. Si cette autorisation est donnée à titre expérimental, il ne faut pas se leurrer : en la matière, une expérimentation est toujours amenée à être intégrée dans le droit commun après quelques temps. Autorisation a par ailleurs été donnée à la police municipale d’utiliser des caméras embarquées sur leurs véhicules, cette fois-ci directement de manière définitive.

Le Sénat a par ailleurs laissé au ministère de l’intérieur le soin d’écrire, via un décret, ses propres lignes directrices quant à l’utilisation de ses drones, aussi bien sur la question de la formation en données personnelles que sur la proportionnalité des usages prévus. La garantie d’un avis préalable de la Cnil sur cette question n’est pas là pour nous rassurer, le ministère de l’intérieur ayant pour habitude de ne pas respecter les avis de cette dernière et la présidente de la CNIL s’étant montrée particulièrement peu lucide sur cet enjeu, lors des auditions au Sénat d’abord, puis dans l’avis de l’autorité sur le texte.

Le projet assumé d’une société sous surveillance biométrique

Enfin, le moratoire proposé par le groupe écologiste pour interdire pendant deux ans tout dispositif de vidéosurveillance biométrique a été rejeté.

Cela a néanmoins permis d’expliciter le projet de surveillance désiré par le gouvernement et la droite au Sénat. Devant le silence méprisant de l’hémicycle sur cette proposition de moratoire, une partie des sénateurs et sénatrices ont en effet demandé un scrutin public sur le vote, en précisant que rejeter ce moratoire revenait à autoriser la surveillance biométrique. Sur 344 votants, 244 ont donc voté pour la surveillance biométrique.

À cet égard, le récent décret autorisant le comptage de masques dans les transports apparaît ainsi de plus en plus comme un nouveau pied dans la porte menant à la Technopolice que nous dénonçons régulièrement.

L’idée qu’essaient de faire passer les rapporteurs au Sénat, sur un travail de « juriste sérieux » visant à encadrer les plus graves dispositions du texte, ne tient plus. Hier, non seulement aucune amélioration notable n’a été apportée au texte, mais plusieurs dispositions sont venues aggraver le danger pour nos libertés. Il reste encore l’étape de la Commission mixte paritaire, qui réunira les élu·es de l’Assemblée nationale et du Sénat mais de laquelle nous n’attendons absolument rien. Rendez-vous donc au Conseil constitutionnel pour tenter de faire barrage à ce nouveau coup de semonce sécuritaire.

Health Data Hub : du fantasme de l’intelligence artificielle à la privatisation de nos données de santé

mercredi 17 mars 2021 à 13:18

Projet central du « Plan national pour l’intelligence artificielle » (surnommé « AI for humanity« ), le « Health Data Hub » (HDH) est un projet visant à centraliser l’ensemble des données de santé de la population française. Il est prévu que le HDH regroupe, entre autres, les données de la médecine de ville, des pharmacies, du système hospitalier, des laboratoires de biologie médicale, du dossier médical partagé, de la médecine du travail, des EHPAD ou encore les données des programmes de séquençage de l’ADN [1].

Le HDH se substitue à une structure existante, le Système National de Données de Santé, avec deux principales modifications : un large élargissement des données collectées et un accès facilité, en particulier pour le secteur privé (GAFAM, « medtechs », startup, assureurs…), à ces dernières. A noter que les décrets officialisant les critères de sélection des projets ayant accès aux données ne sont toujours pas parus. Son objectif est donc, via leur centralisation, de faciliter l’utilisation de nos données de santé par le plus grand nombre d’acteurs de manière à, selon ses promoteurs-rices, « faire de la France un pays leader de l’intelligence artificielle » [2].

Ce projet, mené sans réelle concertation publique, est au centre de nombreuses controverses. Le choix du gouvernement de confier son hébergement à Microsoft, dans l’opacité la plus totale et malgré un avis particulièrement sévère de la CNIL, a soulevé de nombreuses protestations. Alors même que les critiques s’intensifiaient, le gouvernement a profité de l’état d’urgence sanitaire pour accélérer son développement, décision qui fut attaquée en justice par le collectif Interhop. Edward Snowden lui-même a pris position contre ce projet en dénonçant une capitulation du gouvernement devant « le cartel du Cloud ».

Sans remettre en question le droit à l’accès aux données médicales à des fins de recherche publique, ce texte se propose d’interroger les ressorts idéologiques du HDH et la vision du système de santé qu’il traduit, en l’inscrivant dans le contexte plus large de l’utilisation grandissante des techniques d’Intelligence Artificielle (IA) dans notre société. En effet, du système éducatif et social à la justice, en passant par la police, l’agriculture ou la santé, aucun domaine n’est aujourd’hui épargné. Alors que l’introduction de cette technologie est présentée comme inéluctable, et le recours à celle-ci comme intrinsèquement un progrès, les risques associés à son recours à outrance dans nos sociétés sont nombreux : déshumanisation [3], perte d’autonomie [4], usage contre les intérêts des patients, et, comme souvent lors de la création de nouvelles bases de données, une surveillance accrue [5]…

Aux origines du HDH : le rapport Villani ou l’IA fantasmée

La création du HDH fut initialement proposée dans le rapport Villani, publié en 2018. C’est sur la base de ce dernier que s’est construite la stratégie gouvernementale en matière d’IA.

Sa lecture permet d’appréhender la vision que se fait l’État des enjeux posés par l’IA, son positionnement par rapport à ces derniers et les risques que cette politique implique en terme de protection des données personnelles, tout particulièrement dans le domaine de la santé.

L’IA : « Une chance inouïe d’accélérer le calcul réservé à Dieu »

C’est en ces termes[6] qu’Emmanuel Macron, évoquant la philosophie de Leibniz[7], introduit le discours qu’il prononce à l’occasion de la publication du rapport Villani. L’IA, ajoute-t-il, « nous donnerait la capacité de réaliser nous-mêmes » le calcul du « meilleur des mondes possibles » que le philosophe réserve à Dieu. Selon lui, grâce à cette technique, nous serons bientôt en mesure de « parcourir beaucoup plus rapidement les chemins du malheur pour choisir le bon chemin […] plus tôt et […] plus rapidement » [6].

On retrouve ici toute la fascination exercée par les technologies, et l’informatique en particulier, sur nos dirigeant-e-s. Pour Jacques Ellul [8], ce sont d’ailleurs les politiques qui « paraissent plus que tous autres fascinés par cet instrument fabuleux », parce qu’ils-elles se trouvent « enfin maître(s) d’un instrument d’une puissance absolue » grâce auquel « tout va devenir possible ».

Après l’informatique, c’est donc à l’IA d’entretenir le mythe d’une technologie révolutionnaire et salvatrice. Comme l’écrivait André Vitalis en 1981 [9], l’IA et l’informatique sont des domaines si vastes que « dès lors, toutes les spéculations sont possibles, et à la place d’une appréciation raisonnée des possibilités de la machine, on est en présence d’une croyance à priori, en un pouvoir assez général ». Il ajoute à ce sujet que « ceci définit parfaitement une croyance magique ».

Une politique au service de finalités impensées

Cette fascination de nos dirigeant-e-s pour l’IA les empêche de prendre le recul nécessaire pour penser l’intégration de cette technique au sein d’un projet politique. Le rôle de l’Etat se limite à mettre tous les moyens à sa disposition pour préparer la France à « la révolution promise par l’IA », la faciliter, et ce, sans jamais questionner ni ses finalités ni ses moyens.

Ainsi, le rapport Villani plaide pour une véritable « transformation de l’Etat » et préconise d’adapter tant la commande publique que nos lois ou l’organisation de nos systèmes de santé et éducatif afin de lever les « freins » au développement de l’IA, « libérer la donnée » et « faire émerger une culture commune de l’innovation » [10]. Le cœur du rapport s’attache uniquement à préciser les actions à réaliser pour que la société s’adapte aux besoins techniques de l’IA.

Dans le même temps, la question de la limitation et de l’encadrement des usages de cette technologie y est quasi absente, tout comme la définition d’objectifs précis auxquels pourraient répondre une politique publique centrée autour de quelques grands projets de recherche publique. Ceux affichés par le « plan national pour l’IA » sont au contraire très vagues : permettre à la France de trouver une place parmi les « leaders » de ce domaine, ou encore « construire la véritable renaissance dont l’Europe a besoin » [6]

Il s’agit dès lors pour le pouvoir, non pas de questionner l’IA, mais de trouver de quels avantages dispose la France pour concurrencer les puissances dominantes (GAFAM, États-Unis, Chine) dans ce domaine. En se plaçant dans une logique concurrentielle, l’État embrasse implicitement le modèle défini par ces dernières et soustrait au débat public le choix de nos orientations technologiques.

Nos données de santé : un « avantage compétitif »

Les implications de ce choix vis-à-vis du HDH apparaissent rapidement. Comme Cédric Villani le précise [10] : « La situation actuelle est caractérisée par une asymétrie critique entre les acteurs de premier plan – les GAFAM […] – qui ont fait de la collecte et de la valorisation des données la raison de leur prééminence ; et les autres – entreprises et administrations – dont la survie à terme est menacée » .

Dans cette course à l’IA, l’État semble aujourd’hui dépassé par les GAFAM et les prodigieuses quantités de données qu’elles ont accumulé. A un tel point que Cédric Villani juge son existence mise en péril…

Toutefois, le rapport Villani se veut rassurant : si « le premier acte de la bataille de l’IA portait sur les données à caractère personnel » , et a été « remportée par les grandes plateformes » , le second acte va porter sur les « données sectorielles », dont le secteur de la santé est un parfait exemple. Or « c’est sur celles-ci que la France et l’Europe peuvent se différencier ».

Comment ? Grâce aux données à disposition de l’Etat français : celles collectées pour le développement de la sécurité sociale [11]. Comme l’explique clairement Emmanuel Macron : « Nous avons un véritable avantage, c’est que nous possédons un système de santé […] très centralisé, avec des bases de données d’une richesse exceptionnelle, notamment celle de l’Assurance-maladie et des hôpitaux ».

Tout est dit : pour que la France trouve sa place sur le marché de l’IA, l’État doit brader nos données de santé.

Un système de santé déshumanisé

Si le HDH est donc présenté comme un moyen de permettre à notre industrie nationale de « jouer un rôle de premier plan au niveau mondial et concurrencer les géants extra-européens » [10], il s’inscrit dans une vision plus globale d’un système de santé toujours plus quantifié et automatisé. Le rapport Villani permet en effet d’en cerner les contours : un système médical transformé pour être mis au service de l’IA, le recul des rapports humains, une médecine personnalisée basée sur l’exploitation à outrance de données personnelles et le transfert de la gestion de nouveaux pans de notre vie à des algorithmes opaques et privés.

« Hospital as a Platform » : Le corps médical au service de l’IA

L’ « Hospital as a Platform »[10], c’est ainsi que l’hôpital est désigné par le rapport Villani. Les lieux de soins y sont perçus comme de simples plateformes de données, des fournisseurs de matières premières pour les algorithmes des « medtechs ». Au delà de la violence d’une telle vision de notre système de soin, « producteur de données » [10], cela entraîne des conséquences directes tant pour le corps médical que pour la pratique de la médecine.

Puisque « les données cliniques renseignées par les médecins sont des sources d’apprentissage permanentes des IA », il devient « nécessaire que les professionnels de santé soient sensibilisés et formés pour encoder ces informations de manière à les rendre lisibles et réutilisables par la machine » [10].

Ainsi, jusqu’à présent, les soignants produisaient majoritairement des informations destinées à d’autres soignant-e-s et/ou patient-e-s. La quantification de chaque soin, introduite par la réforme de la T2A (tarification à l’activité) en 2003, avait déjà radicalement changé le rapport du soignant-e à la patient-e, tout en impactant les décisions médicales. Mais aujourd’hui c’est désormais l’ensemble de la production du personnel médical qui sera destiné à la machine. En inscrivant les relations patient-e/soignant-e dans des processus de rationalisation et de normalisation informatique, c’est le système lui-même que l’on déshumanise.

On renforce par ailleurs la charge de travail et les contraintes bureaucratiques du personnel médical, transformé à son tour en « travailleur-se du clic » pour reprendre l’expression d’Antonio Casilli [16], deux préoccupations au centre des récents mouvements de protestations [13] dans les milieux hospitaliers.

Marchandisation des données de santé

La stratégie gouvernementale prévoit la mise en place d’incitations fortes de manière à ce que le corps médical accepte ce changement de paradigme. Plusieurs pistes sont avancées :

Le rapport de préfiguration du HDH [14] indique par exemple que « les financements publics devraient être systématiquement conditionnés à la reconnaissance et au respect du principe de partage ». Un établissement médical refusant de partager les données de ses patient-e-s avec le HDH pourrait ainsi se voir ainsi privé de fonds.

Mais le coeur de la stratégie se veut plus doux. Il repose sur la rémunération des producteurs de données (hôpitaux, Ehpad, laboratoires…) par les utilisateurs-rices du HDH. Car comme le précise la mission de préfiguration, nos données de santé ont « un fort potentiel de valorisation économique » qui « se concentre principalement autour des industriels de santé, laboratoires pharmaceutiques et medtech » [14]. Ce que propose ainsi le rapport de préfiguration du HDH n’est rien de moins qu’une marchandisation de nos données de santé.

La mission de préfiguration rappelle par ailleurs qu’il sera nécessaire de « procéder à la large diffusion d’une culture de la donnée », afin de lever les freins culturels au développement de la technologie. Cette culture devra être infusée tant au niveau des responsables médicaux que des patients eux-mêmes. Et d’ajouter : « N’attendons pas d’être souffrants pour épouser cet état d’esprit » [14] …

Aujourd’hui pourtant, cette « culture de la donnée » française et européenne repose sur plusieurs textes tels la loi informatique et libertés de 1978 ou le RGPD (2018), qui visent au contraire à protéger cette donnée, et particulièrement la donnée de santé, dite « sensible » au même titre que l’orientation politique ou sexuelle. Maintenant que le contexte technique permet une analyse extrêmement pointue de ces données, il faudrait donc cesser de la protéger ?

« Deep Patient » : Du smartphone aux laboratoires d’analyses médicales

Pour Cédric Villani, les capteurs individuels de santé permettraient de participer à l’amélioration des outils d’IA, glissant vers une médecine individualisée à l’extrême, se basant sur la collecte d’une quantité toujours plus importante de données personnelles. Une médecine dans laquelle, selon lui, « le recueil des symptômes ne se fait plus seulement lors de la consultation de son médecin, mais à travers un ensemble de capteurs intégrés à l’individu (objets de « quantified self », apps de santé sur le smartphone, véritable « laboratoire d’analyses médicales distribuées ») ou à son environnement » [10].

Ce qu’évoque ici le rapport Villani, c’est le rêve d’une mesure de chaque aspect de notre vie (sommeil, alimentation, activité physique…), idéologie portée par le mouvement né aux Etats-Unis dit du « quantified self » [15]. Rêve accessible grâce à ces smartphones à qui incombe la responsabilité de collecte des données. Il est ainsi précisé que le « suivi en temps réel du patient et des traces qu’il produit » permet de « retracer une image précise du patient », constituant ce que le rapport désigne par l’expression de « deep patient » [10].

Le modèle proposé est donc celui de la délégation de notre système de santé à des applications se basant sur des algorithmes développés par le secteur privé, grâce aux données du HDH. La consultation de FAQ remplace petit à petit les consultations médicales, trop onéreuses et inefficientes, pendant qu’un avatar électronique remplace la médecin de famille.

Aucun recul n’est pris par rapport aux risques qu’engendre une privatisation croissante de notre système de santé. Aucune critique n’est faite du modèle économique des GAFAM basé sur la prédation des données personnelles. Il s’agit au contraire pour l’état d’accentuer le mouvement initié par ces derniers, de les concurrencer.

Se dessine alors une médecine personnalisée à l’extrême, atomisée, où la machine est reine et les interactions avec le corps médical marginalisées. Une médecine dans laquelle les questions collectives sont poussées en arrière plan et dans laquelle des pans entiers de notre système de santé sont délégués au secteur du numérique.

Conclusion

Nous refusons que nos données de santé soient utilisées pour la construction d’une médecine déshumanisée et individualisée à l’extrême. Nous refusons qu’elles servent à l’enrichissement de quelques structures privées ou à l’apparition de GAFAM français du domaine de la santé. Nous refusons qu’elles participent à l’avènement d’une société du « Quantified Self » dans laquelle la collecte de données personnelles de santé serait favorisée et valorisée. Nous refusons enfin une société où notre système de soin deviendrait un auxiliaire au service de technologies dont la place n’a pas fait l’objet d’un débat public.

Nous demandons donc :

– L’arrêt du développement du HDH, dans l’attente d’une remise à plat de ses objectifs et son fonctionnement ;
– L’arrêt du contrat d’hébergement conclu avec Microsoft ;
– Un changement de paradigme faisant de l’accès aux données de santé de la population française par le secteur privé l’exception plutôt que la norme.

[1]: Pour une liste exhaustive, se reporter à la Partie 5 « Patrimoine de Données » du Rapport de la mission de préfiguration du HDH : https://solidarites-sante.gouv.fr/IMG/pdf/181012_-_rapport_health_data_hub.pdf
[2]: https://www.aiforhumanity.fr/
[3]: Les films « Moi, Daniel Blake » ou « Effacer l’historique » offrent une belle, et triste, illustration d’un système social informatisé et bureaucratisé jusqu’à en perdre toute humanité
[4]: Voir à ce sujet « La liberté dans le coma » du Groupe Marcuse/ Sushana Zuboff
[5]: Voir à ce sujet le projet Technopolice: www.technopolice.fr
[6]: Discours prononcé le 29 mars 2018 par Emmanuel Macron à l’occasion de la publication du rapport Villani accessible ici
[7]: Macron évoque ici les réflexions de Leibnitz, philosophe du dix-septième siècle autour de la question suivante: « Si Dieu est omnibénévolent, omnipotent et omniscient, comment pouvons-nous rendre compte de la souffrance et de l’injustice qui existent dans le monde? » (citation wikipedia)
[8]: Lire à ce sujet le chapitre préliminaire du livre ‘Informatique, Pouvoir et Libertés’ d’André Vitalis et sa préface écrite par Jacques Ellul
[9]: « Pouvoir et Libertés », André Vitalis, Chapitre préliminaire,
[10]: Rapport Villani, accessible ici p.196
[11]: Sur le développement conjoint, et les besoins en matière de collecte de données, de l’état policier et de l’état providence, voir « La liberté dans le Coma », p57-75
[12]: Sur le concept de « travailleurs du clic », voir le livre « En attendant les robots. Enquête sur le travail du clic » d’Antonio Casili.
[13]: Voir par exemple cet article de Libération ici
[14]: Mission de préfiguration du HDH. Rapport disponible ici
[15]: Pour plus de détail sur ce mouvement, voir la page wikipedia ainsi que le chapitre 7 du livre « To Save Everything, Click Here: The Folly of Technological Solutionism » d’Evgeny Morozov.
[16]: Voir « En attendant les robots. Enquête sur le travail du clic. » d’Antonio A. Casilli.