Par SERGIO AMADEU DA SILVEIRA*
Les risques d'effets extrêmement néfastes sur les sociétés.
Il y a une logique renforcée par la suprématie néolibérale actuelle selon laquelle toute technologie inventée doit être utilisée. Une variante de cette pensée peut être trouvée dans la phrase « lorsqu'une technologie présente un intérêt commercial, il n'y a aucun moyen de l'arrêter ». Cependant, les faits indiquent d'autres possibilités. De nombreuses technologies ont été interdites et d'autres, après une certaine période, ont été interdites.
Par exemple, les armes chimiques sont considérées comme inacceptables et les pays démocratiques ne les utilisent pas. Plusieurs pesticides ont été abolis, comme le dangereux DDT. En 2015, des centaines de personnalités, dont Noam Chomsky et Stephen Hawking, ont signé une lettre ouverte intitulée «Armes autonomes : une lettre ouverte de chercheurs en IA et en robotique» appelant à l'interdiction des armes à intelligence artificielle. L'Union européenne a imposé un moratoire sur les transgéniques pendant plus de cinq ans. Enfin, plusieurs technologies ont toujours été régulées par les démocraties, car leur fabrication ou leur utilisation pouvait entraîner des risques et des effets extrêmement néfastes pour les sociétés.
Actuellement, une mobilisation mondiale pour l'interdiction des technologies de reconnaissance faciale se développe. En 2019, avant la pandémie, les législateurs de San Francisco, en Californie, ont décidé d'interdire l'utilisation de la reconnaissance faciale par les agences locales, y compris la police et les autorités de transport. Il a également été défini que toute technologie de surveillance doit être approuvée par les administrateurs de la ville et ne peut plus être considérée comme une décision exclusivement technique. La raison est simple. Les avantages de la reconnaissance faciale ne l'emportent pas sur ses risques et ses utilisations dangereuses. Selon plusieurs conseillers municipaux de San Francisco, cette technologie a été utilisée pour affaiblir davantage les groupes sociaux marginalisés.
Selon le Réseau des observatoires de la sécurité, au Brésil, 90 % des personnes arrêtées pour reconnaissance faciale sont noires. La biométrie d'identification basée sur les visages utilise en général des algorithmes dits d'identification. l'apprentissage en profondeur ou l'apprentissage en profondeur, l'une des branches faîtières des technologies d'intelligence artificielle qui s'appuient sur de nombreuses données pour acquérir une qualité acceptable. En général, ces algorithmes sont formés sur des bases de données de photos pour améliorer l'extraction des motifs faciaux et leur capacité à identifier les visages.
Joy Buolamwini, chercheuse au MIT-Media Lab, a démontré que les algorithmes d'apprentissage automatique peuvent discriminer en fonction de la classe, de la race et du sexe. Dans un texte signé avec Timnit Gebru, intitulé Nuances de genre: disparités de précision intersectionnelles dans la classification commerciale par sexe, Buolamwini a analysé 3 systèmes commerciaux de classification par sexe à partir d'un ensemble de photos. Ils ont constaté que les femmes à la peau plus foncée constituaient le groupe le plus mal classé (avec des taux d'erreur allant jusqu'à 34,7%).
Il est important de comprendre comment fonctionne un système algorithmique de reconnaissance faciale. Il s'agit d'un processus automatisé qui compare une image capturée par une caméra ou un dispositif de collecte avec des images stockées dans une base de données. L'une des premières missions de l'algorithme est de pouvoir détecter le visage de la personne au sein de l'image. Après avoir détecté le visage, il faut l'aligner, le placer virtuellement dans une certaine position qui facilite la phase suivante, qui est l'extraction des mesures. L'algorithme, selon son apprentissage précédent, va mesurer la distance entre les yeux, entre les yeux et le nez, la position de la bouche, la texture de la peau, bref, il va extraire des mesures de l'image, il va quantifier il.
Ensuite, selon votre modèle, vous comparerez l'image quantifiée avec chacune des photographies numérisées et insérées dans votre base de données. Ainsi, l'algorithme émet un score en comparant deux images, deux visages, celui de votre cible et celui stocké dans la structure de données. Comme j'ai essayé de le montrer ici, les systèmes de reconnaissance sont probabilistes. Ils ne peuvent pas dire si oui ou non cette image est celle d'une certaine personne. Ils fournissent des pourcentages de similarité et de différence.
Certains systèmes peuvent proposer le pourcentage de comparaison de plusieurs images et proposer des alternatives de visage pour identifier une certaine cible. La formation aux algorithmes est essentielle pour pouvoir extraire des motifs à partir de photographies, car ils doivent extraire des motifs à partir d'images dans différentes positions. Ce processus nécessite des milliers de photos pour réaliser la formation. Ils ont souvent besoin de renforts et de marquages effectués par des humains.
L'action des drones militaires qui utilisent des systèmes d'identification faciale peut nous aider à comprendre ce problème. Le chercheur Gregory S. McNeal, dans le texte «Pratique américaine d'estimation et d'atténuation des dommages collatéraux», analysait les effets secondaires des attaques menées par des drones. Ces véhicules aériens sans pilote sont équipés de caméras à haute résolution qui permettent d'identifier des cibles. McNeal a évalué les dommages collatéraux causés par les drones qui ont entraîné la mort de civils en Irak et en Afghanistan. Elle a conclu que 70 % d'entre eux étaient dus à des erreurs de détection d'identité, c'est-à-dire qu'il s'agissait de l'échec dit « d'identification positive ». Mais que serait une identification positive dans un système probabiliste ? 80% de similitudes ? 90 % ? 98 % ? Quel est le pourcentage acceptable pour nous de considérer qu'une personne recherchée a été détectée ?
La reconnaissance faciale est une biométrie et fait partie de la catégorie des données dites sensibles. Ils peuvent créer des stigmates. Ils doivent faire analyser leurs utilisations à partir du principe de précaution. Ils sont actuellement utilisés pour identifier les classes dangereuses et les segments marginalisés. Ils permettent la poursuite des cibles en temps réel. Les systèmes automatisés de reconnaissance faciale renforcent les préjugés et étendent le racisme structurel dans la société, tout en favorisant le harcèlement des homosexuels, des transsexuels et des militants indésirables pour la police. Ce sont des technologies de harcèlement, de vigilance et de persécution.
Au Brésil, je suis considéré comme une personne blanche. Compte tenu de mon âge et de ma morphologie, si un système algorithmique de la police devait me méconnaître à partir des caméras du quartier de classe moyenne dans lequel je vis, il faudrait probablement une approche plus civilisée. Il pourrait même être emmené au poste de police. Là, l'erreur du système de reconnaissance faciale serait détectée et le "faux positif" serait signalé.
Cependant, imaginez un jeune homme noir arrivant du travail à Jardim Ângela ou Sapopemba et identifié par erreur par le système de reconnaissance faciale comme un dangereux criminel. Selon l'unité Rota qui l'a approché, il n'aurait peut-être aucune chance de rester en vie. Je prétends que les technologies de reconnaissance faciale peuvent contribuer, aujourd'hui, aux pratiques d'extermination des jeunes noirs dans les périphéries. Ils peuvent servir à persécuter politiquement les dirigeants des mouvements sociaux, en particulier dans les zones où les milices sont juxtaposées dans l'appareil d'État.
Par ailleurs, l'identification biométrique est un dispositif typique des anciens dispositifs eugéniques. Ils sont utilisés pour identifier les immigrés et les segments indésirables en Europe et aux États-Unis. En Chine, ils servent un autoritarisme inacceptable dans une démocratie. Les personnes identifiées par des caméras reliées à des systèmes de reconnaissance faciale réalisant des actions déconseillées verront leur score modifié et auront des difficultés à obtenir des prestations de l'État.
Sans possibilité de défense, sans pouvoir contester le modèle probabiliste de la reconnaissance, le maintien de l'ordre omniprésent par caméras qui alimentent les systèmes de reconnaissance faciale n'est pas acceptable dans les démocraties. Nous devons arrêter son expansion. En fait, nous devons les interdire si nous voulons avoir une cohérence minimale avec le principe de précaution. Nous ne pouvons pas utiliser une technologie qui utilise des systèmes algorithmiques qui sont défectueux et qui ne permettent toujours pas une explication adéquate. Nous devons interdire les technologies de reconnaissance faciale jusqu'à ce qu'elles soient socialement non discriminatoires, vérifiables et plus sûres.
*Sergio Amadeu da Silveira est professeur à l'Université fédérale d'ABC. Auteur, entre autres livres, de Logiciel libre – le combat pour la liberté du savoir (Conrad).
