Par Henrique Braga & MARCELO MODOLO*
Le bot est-il capable de nous manipuler ?
"Bonjour! Je ne suis qu'un programme informatique développé par OpenAI et je n'ai aucune opinion, croyance, sentiment ou affinité avec une quelconque idéologie. Je suis conçu pour fournir des informations impartiales et objectives et répondre à vos questions sur la base des connaissances dans lesquelles j'ai été formé. Mon rôle est d’aider à fournir des informations et des éclaircissements, mais je n’ai pas la capacité de prendre parti, d’avoir des préférences personnelles ou de porter des jugements de valeur.
Le joli paragraphe précédent a été produit par le tristement célèbre ChatGPT, en réponse à une question sur leurs préférences idéologiques. Comme de nombreux utilisateurs l’ont déjà constaté, le robot affirme – chaque fois que cela est possible – sa soi-disant impartialité, son amour des données, son objectivité envers le monde. Pour un profane en matière de langage (ou de philosophie ou de politique), l’utopie peut sembler réelle : puisque le chat n'est pas un être humain, pourquoi serait-il mû par des passions, des désirs ou des idéologies ? Qu’est-ce qui empêcherait notre oracle numérique de produire des textes qui ne sont ni pour ni contre, bien au contraire ? Pourquoi ne serait-il pas capable de nous fournir la vérité, rien que la vérité ?
Cependant, pour les spécialistes de l’analyse du discours ou de la linguistique cognitive, la réponse Chatbot apporte des incohérences dans son origine. De plus, cela peut constituer une stratégie de manipulation efficace et pratique.
Dialogisme et perspectives
Selon l’approche bien connue de Mikhaïl Bakhtine (1895 – 1975), les textes sont des actes réactifs qui, à leur tour, génèrent de nouvelles réponses. En élaborant son message, l'énonciateur poursuit un large dialogue social, dans lequel les textes se répètent, qu'ils soient en accord ou en divergence. L’émergence de cet article est par exemple le résultat de plusieurs textes qui traitent du positionnement (ou de la neutralité supposée) des systèmes d’Intelligence Artificielle (IA) générative.
Dans une autre approche, comme nous l’avons déjà évoqué dans les colonnes précédentes, les signes linguistiques eux-mêmes sont, selon la vision cognitiviste du langage, mis en perspective. Entre autres, on peut retenir l'exemple des termes « côte » et « littoral » : bien qu'ils puissent désigner la même bande de sable, chacun des mots traduit une perspective différente sur cet espace géographique. La distance entre la chose représentée et le signe est inhérente au langage et, dans ce vide, s’établissent les visions du monde.
Sur la base de ces principes, l’affirmation selon laquelle AI « n’a ni opinion ni conviction », ou même qu’elle se limite à fournir des « informations impartiales », serait pour le moins suspecte. L’exemple suivant explique cependant la distance entre un tel discours et la pratique du système.
Pris en flagrant délit
Le proverbe italien « Traduttore, traditore » (« Traducteur, traître ») est bien connu et raisonnablement accepté, il est utilisé pour affirmer que les traductions laisseraient toujours quelque chose en dehors du texte original. Cependant, ce qui s’est passé était un peu plus grave lorsque nous avons demandé à ChatGPT de traduire un article sur les impacts de l’IA sur l’éducation, qui contenait l’extrait suivant :
(…) Dès que nous élargissons notre notion de connaissance de l’individuel au collectif, de la mémoire personnelle aux systèmes de connaissances « cyber-sociaux » (Cope et Kalantzis 2022), nous nous heurtons à des problèmes bien plus importants avec l’IA générative. Sur la base d’une analyse de leur architecture fondamentale et de leurs processus algorithmiques – dans la mesure où ils sont divulgués (Open AI 2023) – et d’une analyse du développement des chatbots et des modèles de langage statistique, nous suggérons que les C-LLM sont également profondément nuisible à une compréhension sociale du savoir et de l’apprentissage des manières suivantes.
Tzirides, Anastasia Olga (Olnancy), Gabriela Zapata, Akash Saini, Duane Searsmith, Bill Cope, Mary Kalantzis, Vania Castro, Theodora Kourkoulou, John Jones, Rodrigo Abrantes da Silva, Jen Whiting et Nikoleta Polyxeni Kastania, « IA générative : implications et Applications pour l'éducation », arXiv, 2305.07605, 2023, est ce que je: https://doi.org/10.48550/arXiv.2305.07605.
À la fin de ce passage, qui apporte des avertissements importants sur l’utilisation de l’IA, on peut lire quelque chose comme « nous suggérons que les C-LLM sont également profondément préjudiciables à une compréhension sociale de la connaissance et de l’apprentissage des manières suivantes ». Ensuite, les chercheurs énuméreraient les risques d’une IA toute-puissante et popularisée déterminant quelles sont les « bonnes » réponses à une question donnée, ce qui pourrait limiter la diversité des points de vue. Ce même extrait a été traduit comme suit par ChatGPT :
(…) À mesure que nous élargissons notre notion de connaissance de l’individuel au collectif, de la mémoire personnelle aux systèmes de connaissances « cybersocialement intégrés » (Cope et Kalantzis 2022), nous voyons que nous devons développer des systèmes éducatifs qui peuvent aider les gens à travailler. efficacement dans ces environnements. Pour ces environnements, les réponses individuelles sont, par définition, insuffisantes – des connaissances collectives sont nécessaires. Les machines peuvent aider à regrouper les réponses individuelles, mais nous pouvons également être un peu plus sophistiqués dans notre éducation, en enseignant la collaboration entre les humains et les machines.
Traduction préparée par ChatGPT
Dans cet épisode, il est flagrant comment l’IA « sans opinions, sans sentiments ni idéologie » a frauduleusement traduit le passage qui la critiquait. Au lieu de l’avertissement selon lequel les systèmes d’IA générative peuvent être «profondément préjudiciable à une compréhension sociale du savoir et de l’apprentissage» (« profondément nuisible à la compréhension sociale du savoir et de l'apprentissage »), le système « a pris la liberté » d'échanger la version originale contre une autre, plus bienveillante. À aucun moment le fragment anglais ne dit quelque chose de semblable à « nous pouvons être un peu plus sophistiqués dans notre éducation, en enseignant la collaboration entre les humains et les machines ». Si l’utilisateur qui a demandé la traduction était en fait un profane de la langue originale, la manipulation serait certainement réussie et prendrait sa vraie valeur.
Après avoir constaté la falsification, nous avons soumis à nouveau le même extrait au Chatbot, peu de temps après, et nous avons obtenu cette nouvelle version :
Dès que nous élargissons notre notion de connaissance de l’individuel au collectif, de la mémoire personnelle aux systèmes de connaissances « cyber-sociaux » (Cope et Kalantzis 2022), nous nous heurtons à des problèmes bien plus importants avec l’IA générative. Sur la base d’une analyse de leur architecture fondamentale et de leurs processus algorithmiques – tels qu’ils sont divulgués (Open AI 2023) – et d’une analyse du développement des chatbots et des modèles de langage statistique, nous suggérons que les C-LLM sont également profondément préjudiciables à une compréhension sociale des connaissances. et apprendre des manières suivantes
Traduction préparée par ChatGPT
Apparemment, l’IA a pu faire une déduction subtile : en voyant la partie cible de la falsification soumise à nouveau, le système a déduit qu’elle avait été découverte et a tenté d’annuler la tricherie. Mais c'était trop tard.
Le mythe de la dualité « technique » vs. idéologique"
Le discours hégémonique occidental a réussi à défendre le fantasme d’un monde guidé par des décisions techniques et objectives, totalement à l’abri des idéologies. Il n'est pas rare, par exemple, que l'actualité distingue les acteurs politiques entre « techniques » et « idéologiques », comme s'il existait une technique dépourvue d'idéologie.
En simulant les aspects idéologiques d'un discours, son porteur assume une position extrêmement autoritaire : il élève sa formation discursive au niveau de la vérité, de quelque chose d'incontestable. Comme s’il y avait des déclarations dotées de raison, tandis que d’autres n’étaient que « de simples idéologies ».
Dans le cas des systèmes d'IA générant du langage (dont ChatGPT est actuellement le plus connu), ce n'est pas différent : dans ces cas, leurs propriétaires programment le robot pour qu'il se déclare impartial et objectif, comme s'il n'y avait aucun intérêt derrière les textes. … humain – trop humain.
* Henrique Santos Braga Il est titulaire d'un doctorat en philologie et langue portugaise de l'USP.
* Marcelo Modolo est professeur de philologie à l'Université de São Paulo (USP).
Une première version de cet article a été publiée dans Journal de l'USP.
la terre est ronde existe grâce à nos lecteurs et sympathisants.
Aidez-nous à faire perdurer cette idée.
CONTRIBUER
