Par ÉLÉONORA ALBANO*
Robots guerriers et robots conversationnels – une connexion explosive
Cet essai se concentre sur une conséquence néfaste des idées erronées diffusées sur Internet à propos du Chatbots. L’argumentation se déroule en deux parties. Premièrement, il est démontré que l’existence de robots létaux dits autonomes (robots tueurs autonomes) réduit la possibilité pour les humains de prendre la tête des décisions importantes dans un conflit armé.
Une façon d’améliorer ce scénario serait de créer une interface permettant la gestion humaine de ces robots. Toutefois, cette tâche est rendue difficile par le fait que le principal outil impliqué – à savoir le Grands modèles de langage – s’appuyer sur des corpus chargés de préjugés idéologiques et extrêmement vulnérables aux cyberattaques. De tels préjugés sont difficiles à éliminer et peuvent conduire les humains et les machines à des conversations qui conduisent à une escalade des conflits en cause.
Le mythe antique des automates de surveillance et de défense
Le rêve des machines intelligentes est très ancien. Contrairement à la croyance populaire, cela n’a pas commencé lorsque la royauté et l’aristocratie européennes du XVIIIe siècle jouissaient des automates musicaux et/ou acrobatiques. Dans l'Odyssée, Homère raconte les aventures d'Héphaïstos, le dieu de la métallurgie et de l'artisanat, dont la légion d'esclaves dorés effectuait des tâches mécaniques répétitives à l'aide de soufflets. Il évoque également les vaisseaux fantastiques des Phéniciens, activés par la pensée au moindre signe de danger.
Les Hellènes possédaient des connaissances avancées en mécanique qui leur permettaient de déplacer des automates dotés de ressorts, de soufflets, de pistons et de leviers. Tout au long de l'Antiquité, du Moyen Âge et de l'époque moderne, ces créatures artificielles – personnages, animaux et êtres mythiques – ont été sculptées dans le verre, l'étain ou l'argile. – ils étaient considérés comme des esclaves ou des serviteurs, destinés à satisfaire divers besoins, dont le sexe. Permettant les fantasmes masturbatoires de la noblesse, les poupées courtisanes contribuèrent à renforcer la croyance en « l’âme » des automates.
Bien que partiellement conservé dans l’Europe médiévale, cet art s’est rapidement répandu dans le monde entier via l’Islam, puis vers l’Orient. Les Orientaux l'utilisaient surtout pour créer des automates gardiens, afin de veiller sur des palais ou des reliquaires, comme par exemple celui du Bouddha.
Il est facile de comprendre que la fascination et la peur suscitées par de tels mécanismes en ont fait de puissants instruments de contrôle social. Il n’est donc pas surprenant que cet imaginaire ancien ait été invoqué par les Big Tech et largement diffusé sur Internet. En fait, il avait déjà un visage physique, puisqu’il était utilisé dans l’industrie du divertissement, c’est-à-dire dans les bandes dessinées, les films et les séries télévisées.
L’appropriation de la surveillance et de la défense par les Big Techs
Un rapport de l’expert de la défense Roberto Gonzalez (2024) montre comment, ces dernières années, le complexe militaro-industriel américain s’est déplacé du Capital Beltway vers la Silicon Valley. Pour adopter des armes basées sur l'IA et tenter de protéger son cloud computing, le ministère américain de la Défense a dû se tourner vers Microsoft, Amazon, Google et Oracle, en leur attribuant des contrats d'un milliard de dollars. Dans le même temps, le Pentagone a donné la priorité au financement des startups de technologies de défense désireuses de bouleverser le marché avec une innovation rapide et des objectifs de croissance ambitieux.
Dans ce scénario, l’auteur identifie trois facteurs : (i) le modèle de startup de la Silicon Valley ; (ii) les conditions de financement du capital-risque ; et (iii) les priorités de l’industrie du numérique. Il conclut que la conjonction des trois produit des armes de pointe – qui, quel que soit leur coût – ont tendance à être inefficaces, dangereuses et imprévisibles dans la pratique.
Voyons pourquoi. Le premier facteur impose un rythme exagérément accéléré aux recherches sur l’Intelligence Artificielle utilisée dans ces armes ; le second pousse à des résultats favorables aux investisseurs ; et le troisième cherche à intégrer les modes du marché du numérique dans la conception des systèmes. Cela laisse plusieurs flancs ouverts au piratage et aux erreurs de communication entre les humains et les machines, qui peuvent provoquer des désastres stratégiques majeurs.
Les robots guerriers autonomes d'Israël
L’industrie de l’armement autonome a considérablement progressé grâce à l’intelligence artificielle. L’État qui investit le plus dans cette technologie aujourd’hui est sans aucun doute Israël. Voyons ci-dessous comment le pays a attiré les investissements occidentaux dans la perpétuation de l’industrie de l’armement.
Lucy Suchman, professeur émérite à l'Université de Lancaster, au Royaume-Uni, étudie le militarisme contemporain en s'appuyant sur une longue carrière axée sur la critique scientifique et humanitaire des domaines de l'intelligence artificielle et de l'interaction homme-machine.
Dans un article publié sur le site Arrêtez les robots tueurs en février 2024,[I] elle analyse le rapport technique joint à l'accusation de génocide que l'Afrique du Sud a déposée contre Israël devant la Cour internationale de Justice de La Haye. Intitulé « Une usine à meurtres de masse : la face intérieure du bombardement calculé d'Israël sur Gaza », le texte fait des révélations terrifiantes sur ce que l'auteur appelle « la machine à tuer accélérée par les algorithmes ».
Cette machine contient un système de ciblage exploité par Intelligence artificielle, cyniquement appelé Habsora – l'Évangile. Il permet aux Forces de défense israéliennes (FDI) de combiner une autorisation plus permissive pour le bombardement de cibles civiles dans la bande de Gaza avec un assouplissement des restrictions sur les pertes attendues. Cela autorise l’envoi de missiles vers des zones civiles densément peuplées, notamment des bâtiments publics et résidentiels.
Les directives juridiques internationales exigent que les bâtiments sélectionnés pour les bombardements soient des cibles militaires légitimes et soient vides au moment de leur destruction. La nouvelle politique des Forces de défense israéliennes les viole de manière irritable en produisant une succession ininterrompue d’ordres d’évacuation peu pratiques pour la population palestinienne, de plus en plus confinée dans les petites enclaves de Gaza.
Ce ciblage est facilité par la vaste infrastructure de surveillance des territoires occupés. De plus, en déclarant que toute la surface de Gaza cache des tunnels souterrains du Hamas, Israël « légitime » l’ensemble de la bande en tant qu’objet de destruction.
Cette stratégie opérationnelle se traduit par la nécessité d’un flux ininterrompu de cibles candidates. Pour répondre à cette exigence, Habsora a été conçu pour accélérer la génération de cibles à partir des données de surveillance, créant ce que l’auteur appelle une « usine de meurtres de masse », adoptant un terme proposé par un ancien officier des Forces de défense israéliennes.
Ainsi, le bombardement israélien de Gaza a modifié l’orientation du ciblage de l’IA, passant de la précision et de l’exactitude à l’accélération du taux de destruction. Un porte-parole des Forces de défense israéliennes a explicitement admis que le bombardement de Gaza est guidé par « l’accent mis sur les dégâts plutôt que sur la précision ».
Lucy Suchman poursuit en soulignant que cela change le discours d'une technologie conforme au droit international humanitaire et aux Conventions de Genève à une technologie axée sur l'autonomie de la génération cible, qui garantit une rapidité et une efficacité dévastatrices. En ce sens, les sources des renseignements israéliens admettent que les opérations visent à avoir un impact sur la population civile, sous prétexte que c'est la seule manière possible d'éliminer le Hamas.
Le recours d’Israël à la production algorithmique de cibles doit être compris dans le contexte susmentionné de l’absorption des opérations de guerre par les réseaux. Ancré dans l’imaginaire cybernétique de la guerre froide, le combat basé sur les données est devenu viable dans les années 1990, offrant une solution technologique au vieux problème de « l’analyse situationnelle » dans la logique militaire. Sur un champ de bataille en réseau, les données se déplacent à la vitesse de la lumière, reliant les capteurs aux tireurs et aux plates-formes. Les vies des militaires sont épargnées tandis que la population civile du territoire cible est décimée.
L’auteur souligne que les données sont ainsi naturalisées, c’est-à-dire traitées comme des signaux objectifs émis par un monde extérieur et non comme le résultat d’une chaîne de traduction depuis des signaux lisibles par machine vers des systèmes de classification et d’interprétation créés par des stratèges militaires.
Ainsi, l’idée selon laquelle la collecte de données repose sur leur valeur est remplacée par un investissement continu dans l’infrastructure de calcul, qui constitue aujourd’hui l’atout le plus précieux de cette industrie.
Cet investissement, basé sur une confiance aveugle dans la surveillance basée sur les données, naît du désir fantaisiste d’impliquer directement les données dans les décisions, même si leur origine et leur traitement peuvent être discutables.
Tout cela s’inscrit dans le contexte de l’engagement politico-économique d’Israël à s’imposer comme l’un des principaux fournisseurs de technosciences militaires de pointe, notamment dans le domaine du combat basé sur l’intelligence artificielle. Étant donné que le principal institut technologique du pays, le Technion, dispose d'un programme de recherche super équipé et financé qui travaille exclusivement sur les systèmes industriels autonomes, y compris les armes.
Ceci explique l’indifférence cynique de l’Occident à l’égard des négociations de paix à Gaza : la course aux armements actuelle est commodément basée en Israël. Les États-Unis investissent dans cette industrie et en profitent, en la gardant stratégiquement loin de chez eux.
D'un autre côté, ils mènent chez eux des recherches stratégiques de haute technologie sur la sécurité des réseaux, c'est-à-dire celles qui traitent de la manière dont ces armes doivent être utilisées et protégées contre la cybercriminalité.
Un assistant militaire ironique ?
Nous verrons ci-dessous pourquoi l’intelligence artificielle et, en particulier, sa version linguistique – les chatbots – ne sont pas adaptées à une utilisation dans les plans militaires. Au problème pratiquement insoluble de la sécurité s’ajoute, comme déjà évoqué, celui des sorties des systèmes simulant le langage naturel, qui ont un côté intrinsèquement imprévisible.
Voyons d’abord pourquoi la sécurité nécessaire à la stratégie militaire est inconciliable avec le monde numérique. À cette fin, admettons d’emblée qu’une application réseau sécurisée est pratiquement inaccessible.
Le journaliste Dave Lee, chargé de couvrir l'intelligence artificielle en Financial Times, a publié une excellente analyse des failles de sécurité des Great Language Models[Ii] sur le site Internet d'une entreprise du secteur, Hidden Layer, en mars 2023. Passons en revue ses principaux arguments.
L’auteur commence par commenter les profondes transformations apportées par l’IA aux espaces de travail au cours des dernières décennies. Un bon exemple est l’utilisation de Great Language Models pour la rédaction de documents juridiques, qui atteint déjà 80 % dans certaines entreprises du secteur juridique au Royaume-Uni.
Il montre ensuite à quel point les grands modèles linguistiques sont particulièrement vulnérables aux abus. En d’autres termes, ils se prêtent à la création de malwares, de phishing ou d’autres contenus malveillants. Ils fournissent également des informations biaisées, inexactes, voire préjudiciables, résultant de manipulations secrètes. Le fait de ne pas protéger les demandes qui leur sont adressées facilite les violations de la propriété intellectuelle et de la confidentialité des données. Il en va de même avec les outils de génération de code, qui sont sujets à l’introduction subreptice d’erreurs et de fuites.
De plus, selon l’auteur, les Great Language Models ont contribué à réduire la frontière entre Internet et le Dark Web. Aujourd’hui, il est facile de trouver des kits d’outils d’attaque à utiliser comme ransomware dans le commerce illégal de cryptomonnaies.
L'IA générative permet un accès instantané et sans effort à une gamme complète d'attaques furtives, délivrant potentiellement du phishing et des logiciels malveillants à quiconque ose le demander. Les vendeurs de scénarios se spécialisent de plus en plus dans ce service. Il est courant, par exemple, d'accepter des commandes de kits pour contourner les filtres.
Dans ce cas, la fraude est viable car le chatbot synthétise instantanément la partie malveillante du code à chaque exécution du malware. Cela se fait via une simple requête adressée à l'interface de programmation d'application du fournisseur à l'aide d'une invite descriptive conçue pour contourner les filtres inhérents. Les anti-malware actuels ont du mal à détecter cette astuce car ils ne disposent pas encore de mécanismes permettant de surveiller les codes dangereux dans le trafic des services basés sur des Large Language Models.
Si le texte malveillant est détectable et bloquable dans certains cas, dans de nombreux autres cas, le contenu lui-même, ainsi que la requête associée, sont conçus pour paraître inoffensifs. La génération de textes utilisés dans les escroqueries, le phishing et la fraude peut être difficile à interpréter s'il n'existe pas de mécanismes permettant de détecter les intentions sous-jacentes, ce qui implique des procédures complexes qui en sont encore à leurs balbutiements.
Les outils basés sur les grands modèles de langage peuvent également causer des dommages « accidentels » en termes de vulnérabilités du code. L'existence de programmes de bug bounty et de bases de données CVE/CWE[Iii] montre que le codage sécurisé n’est, pour l’instant, rien d’autre qu’un idéal à atteindre.
Des assistants de programmation comme CoPilot pourraient-ils résoudre le problème, en produisant un code meilleur et plus sécurisé qu'un programmeur humain ? Pas nécessairement, car dans certains cas, ils peuvent même introduire des pièges dans lesquels un développeur expérimenté ne tomberait pas.
Étant donné que les modèles de génération de code sont formés sur des données codées par des humains, il est inévitable qu'ils intègrent également certaines de vos mauvaises habitudes, car ils n'ont aucun moyen de faire la distinction entre les bonnes et les mauvaises pratiques de codage.
Le journaliste souligne également que des études récentes sur la sécurité du code généré par CoPilot ont conclu que, bien qu'il introduise généralement moins de vulnérabilités qu'un humain, il a tendance à s'en tenir à certains types, en plus de générer en réponse du code fuyable. aux invites liées à d’anciens défauts non résolus.
L’un des problèmes est justement le manque extrême de préparation des utilisateurs. En principe, ils devraient déjà savoir que les services en ligne gratuits sont payés avec vos données. Cependant, il est courant que les problèmes de confidentialité liés aux nouvelles technologies ne deviennent évidents qu’une fois l’enthousiasme initial passé. La demande du public pour des mesures et des lignes directrices n’apparaît que lorsqu’une innovation est déjà devenue monnaie courante. C'était comme ça avec les réseaux sociaux ; ne fait que commencer avec les Great Language Models.
L'accord sur les conditions générales de tout service basé sur des modèles linguistiques étendus doit expliquer comment nos invites de demande sont utilisées par le fournisseur de services. Mais il s’agit souvent de longs textes rédigés en petits caractères et dans un style non transparent.
Quiconque ne veut pas passer des heures à déchiffrer les contrats de confidentialité doit donc partir du principe que chaque demande adressée au modèle est enregistrée, stockée et traitée d'une manière ou d'une autre. Vous devez attendre, au minimum, que vos données soient ajoutées à l'ensemble de formation, et peuvent donc être accidentellement divulguées en réponse à d'autres demandes.
De plus, avec l’expansion rapide de l’intelligence artificielle, de nombreux fournisseurs peuvent choisir de tirer profit de la vente des données saisies à des sociétés de recherche, à des annonceurs ou à toute autre partie intéressée.
Un autre problème est que même si l’objectif principal des Great Language Models est de conserver un bon niveau de compréhension de leur domaine cible, ils peuvent parfois incorporer un excès d’informations. Ils peuvent, par exemple, régurgiter les données de votre ensemble de formation et finir par divulguer des secrets, tels que des informations personnellement identifiables, des jetons d'accès, etc. Si ces informations tombent entre de mauvaises mains, les conséquences peuvent évidemment être très graves.
L'auteur rappelle également que la mémorisation par inadvertance est un problème différent du surapprentissage.[Iv]. Il s'agit d'une adhésion excessive aux données de formation, en raison de la durée de celle-ci et des statistiques derrière les GLM. Une mémorisation excessive est un échec dans la généralisation du choix des pairs sur Internet, ce qui peut conduire l'algorithme à pincer et à exposer accidentellement des informations privées.
Enfin, il prévient, en conclusion, que la sécurité et la vie privée ne sont pas les seuls pièges de l'intelligence artificielle générative. Il existe également de nombreuses questions juridiques et éthiques, telles que l’exactitude et l’impartialité des informations, ainsi que le « bon sens » général des réponses fournies par les systèmes alimentés par les grands modèles linguistiques, comme nous le verrons ci-dessous.
Les incertitudes inhérentes aux grands modèles de langage
Dans d'autres écrits, j'ai expliqué en détail comment les grands modèles de langage simulent le langage naturel grâce à une méthode qui calcule le mot le plus probable dans une chaîne linéaire, en parcourant Internet et en mesurant la cohérence des candidats avec une base de données densément annotée appartenant à l'entreprise propriétaire. du modèle – généralement une Big Tech, c’est-à-dire : Amazon, Google, Microsoft, Open AI ou Oracle.
Il est essentiel que le public comprenne que ces robots ne sont pas intelligents, et encore moins sensibles, comme on le dit sur Internet. Je devrai ici répéter brièvement cette explication afin de lutter contre une métaphore biaisée répandue par les fournisseurs eux-mêmes pour inciter les utilisateurs à entretenir des conversations avec les machines qui étendent et enrichissent la base de données.
C’est l’affirmation selon laquelle les grands modèles de langage « hallucinent », c’est-à-dire qu’ils vomissent des incohérences, des absurdités et même des offenses, semblables à un humain qui a perdu la raison. Lorsque nous comprenons le fonctionnement de ces modèles, il devient clair que le phénomène se produit réellement, mais il est purement physique, c'est-à-dire qu'il suit le modèle d'autres cas dans lesquels un système dynamique d'équations présente soudainement des changements brusques.
Le secret des grands modèles linguistiques est d'imiter de manière convaincante les discontinuités des langues naturelles humaines en essayant simplement de prédire le mot suivant.
Ceci est possible grâce à trois ingrédients : l’appropriation de l’intégralité du contenu internet par l’entreprise qui en est propriétaire ; l'action d'un gigantesque réseau neuronal récurrent capable de calculer des statistiques d'association entre des millions de mots en temps réel – les soi-disant transformateurs ; et des labels classificatoires, créés et organisés, à différents niveaux hiérarchiques, par des légions de travailleurs précaires hautement qualifiés et issus de divers domaines du savoir.
Les entreprises qui externalisent ces services sont généralement situées dans des pays pauvres comptant de nombreux chômeurs hautement qualifiés, par ex. par exemple, l'Inde, l'Afrique du Sud, le Nigeria et le Brésil.
Ainsi, les Grands Modèles de Langage peuvent traiter des relations discontinues comme celle trouvée dans la phrase « Le chat qui a mangé la souris est mort » – dans laquelle le chat et non la souris est mort. Ils peuvent également reconnaître des discontinuités dans des verbes tels que « racine », formés en ajoutant un préfixe et un suffixe à un radical, en les reliant à d'autres analogues, tels que « embellir », « se percher », etc.
Cette opération est purement linéaire, c'est-à-dire qu'elle prédit un mot après l'autre à chaque étape. Le réseau de neurones calcule, en temps réel, toutes les probabilités de cooccurrence entre paires de mots sur internet, choisit le meilleur candidat et continue.
La simplicité des opérations impliquées n’est qu’apparente. Le calcul des probabilités de cooccurrence ne s’applique pas uniquement au vocabulaire.
L'ensemble du corpus est annoté à plusieurs niveaux d'analyse, qui incluent des informations syntaxiques (c'est-à-dire les règles de conjonction et de disjonction), sémantiques (c'est-à-dire les significations fondamentales et associatives) et même pragmatiques (référence au texte lui-même et/ou au contexte, comme dans cas des pronoms personnels et des adverbes de lieu et de temps). Une fonction d'optimisation sélectionne les couples les plus adaptés pour intégrer de manière cohérente tous ces aspects dans le texte en construction.
Les annotateurs linguistiques marquent les propriétés structurelles du texte. Ceux des autres sciences humaines et sociales ajoutent de multiples couches de contenu et d’étiquettes stylistiques. De la même manière, les annotateurs des sciences naturelles et exactes ajoutent des étiquettes hiérarchiques pour leurs domaines respectifs. En fin de compte, les informaticiens familiers avec les transformateurs rapportent le feedforward du réseau avec la structure multiniveau qui en résulte.
Comme nous le verrons plus loin, le fonctionnement des transformateurs est comparable à la forme la plus radicale du behaviorisme, le conditionnement opérant.[V]. Les types de paires ayant la probabilité de succès la plus élevée sont renforcés, devenant de plus en plus probables – ce qui consolide les liens impliqués et affecte le choix de la paire suivante. Cette procédure conduit naturellement à de nouveaux exemples de paires de même classe, contribuant à augmenter leur fréquence dans le réseau.
Il s’agit sans aucun doute d’une excellente méthode de simulation informatique du langage naturel. Cependant, confondre ses résultats avec des énoncés naturels équivaut à supposer un esprit humain qui fonctionne par associations successives quantifiées et continuellement recalculées. Comme nous l’avons mentionné, cette prémisse est cohérente avec le conditionnement opérant – une méthode de contrôle du comportement créée aux États-Unis pendant la Seconde Guerre mondiale et adoptée plus tard par le maccarthysme.
Son créateur, le psychologue Burrhus F. Skinner, fut accusé de fascisme par ses collègues et réagit en affirmant que la méthode avait des objectifs purement pédagogiques. La discussion est documentée dans The New York Times, dont les archives disposent d'une version en ligne du rapport de Robert Reinhold[Vi] à propos d'un symposium tenu à Yale en 1972 au cours duquel les idées de Skinner furent rejetées par l'ensemble de la communauté universitaire dans son domaine.
Bien que Skinner ait échoué dans ses projets éducatifs, ses idées ont été sauvées par les Big Tech pour rapprocher les humains des machines. Aujourd’hui, malheureusement, l’utilisation aveugle de l’algorithme qui implémente le conditionnement opérant des Grands Modèles de Langage affecte le comportement des utilisateurs. Ils imitent de plus en plus les chatbots, abusant des clichés, tout comme ils acceptent sans réserve les clichés émis en réponse à leurs questions.
Ce qui précède a clairement montré que les transformateurs ne produisent pas de nouvelles connaissances, car ils ne font que paraphraser la forme superficielle de raisonnement simple trouvé sur Internet. Par conséquent, ils ne fonctionnent comme moteurs de recherche que lorsque vous souhaitez compiler des informations à partir de sources fiables. Cependant, l’évaluation de la fiabilité est incertaine, car peu de sites disposent de modérateurs et/ou de conservateurs.
Comme vous pouvez l’imaginer, les Big Tech ne s’intéressent qu’à l’embauche d’annotateurs, pas de modérateurs et de conservateurs. En d’autres termes, l’accent est mis sur l’exhaustivité et non sur la qualité de l’information. Tout ce qui sort d’un transformateur est réinjecté dans le corpus d’entrée. Il n’y a aucun humain pour filtrer et éliminer les tentatives de réponse fausses ou inexactes. Sans modération, les erreurs factuelles deviennent monnaie courante, inondant le réseau d’erreurs, de mensonges et de contradictions.
Les questions et commentaires des utilisateurs, aussi naïfs, sectaires ou même offensants qu'ils puissent paraître, sont automatiquement ajoutés à la base de données, ce qui en fait une source inépuisable de biais potentiellement dangereux. Ainsi, le manque d’indices permettant de distinguer le vrai du faux dilue progressivement les frontières entre les deux.
Dans ce scénario, le ton courtois et pédagogique des chatbots séduit et captive l’utilisateur, sapant progressivement sa conscience des implications de la conversation et sa capacité à douter de la réponse. L’accélération de la vie actuelle favorise donc l’acceptation généralisée par le public des algorithmes qui fournissent des réponses toutes faites et faciles à répéter.
Nous concluons donc qu'en plus d'être peu sûrs, les grands modèles linguistiques constituent une menace pour la pensée critique, une ressource indispensable pour prévenir les désastres stratégiques.
Militarisme avec de grands modèles linguistiques et des armes autonomes ?
Passons maintenant à la dernière étape consistant à démontrer le danger d’une éventuelle interaction entre chatbots et armes autonomes.
Une équipe transdisciplinaire, composée de Rivera, Mukobib, Reuelb, Lamparthb, Smithc et Schneiderb,[Vii] a évalué, dans un article récent, les risques d’escalade des conflits liés à l’utilisation de grands modèles linguistiques dans la prise de décision militaire et diplomatique. Les auteurs ont examiné le comportement de plusieurs agents d’intelligence artificielle dans des jeux de guerre simulés, calculant leurs chances d’emprunter des chemins susceptibles d’exacerber les conflits multilatéraux.
Sur la base d'études de sciences politiques et de relations internationales sur la dynamique de l'escalade des conflits, ils ont créé la simulation la plus réaliste possible des jeux de guerre documentés et ont créé une grille, adaptable à de multiples scénarios, pour évaluer les risques des actions des différents agents impliqués.
Contrairement à la littérature précédente, cette étude a utilisé des données qualitatives et quantitatives et s'est concentrée sur les grands modèles linguistiques fournis par cinq sociétés différentes. Il a trouvé dans chacun d’eux des formes et des schémas d’escalade difficiles à prévoir. La principale conclusion est que ces modèles tendent à développer une dynamique de course aux armements, conduisant à de plus grands conflits et allant même, dans certains cas, à recommander le recours aux armes nucléaires.
Les auteurs ont également analysé qualitativement les raisonnements rapportés par les modèles pour les actions choisies et ont observé des justifications inquiétantes, basées sur des tactiques de dissuasion et de priorisation des attaques, telles que celles déjà utilisées en Israël. Compte tenu de la situation délicate des contextes de politique étrangère et militaire actuels en Occident, ils ont conclu qu'il était nécessaire d'examiner les données en profondeur et d'agir avec la plus grande prudence avant de mettre en œuvre des modèles linguistiques majeurs pour prendre des décisions militaires ou diplomatiques stratégiques, même si le simple titre d'assistant.
D’ailleurs, les Big Tech avaient déjà conclu un accord avec les gouvernements pour interdire l’utilisation des technologies linguistiques à des fins militaires. Cette recherche a confirmé la justesse de cette mesure et la fragilité des technologies en question.
Rappelons enfin que le comportement dynamique des systèmes d'équations qui régissent le comportement des Grands Modèles de Langage est un fait physique et que l'apparition de sauts, bien que prévisible, est inévitable, faisant partie de la nature même du système. .
Aucune avancée technologique ne permet donc de « corriger » les incertitudes inhérentes au fonctionnement des chatbots. Il faut au contraire tenir compte de ces incertitudes lorsqu'on y recourt en théorie ou en pratique.
* Eleonora Albano, professeur retraité de l'Institut d'études linguistiques de l'Unicamp, est psychologue, linguiste, essayiste ; coordonné le premier projet brésilien sur la technologie vocale.
notes
[I]https://stopkillerrobots.medium.com/the-algorithmically-accelerated-killing-machine-8fd5b1fef703
[Ii] https://hiddenlayer.com/innovation-hub/the-dark-side-of-large-language-models/
[Iii] Ce sont des référentiels de vulnérabilités (V) et de faiblesses (W) déjà détectées dans les systèmes.
[Iv] C’est le cas où le machine learning est trop attaché à un ensemble de formation, incapable d’aller au-delà.
[V] Skinner, BF (1938). Le comportement des organismes : une analyse expérimentale. New York : Appleton-Century-Crofts.
[Vi]https://www.nytimes.com/1972/04/21/archives/b-f-skinners-philosophy-fascist-depends-on-how-its-used-he-says.html
[Vii] https://dl.acm.org/doi/abs/10.1145/3630106.3658942
la terre est ronde il y a merci à nos lecteurs et sympathisants.
Aidez-nous à faire perdurer cette idée.
CONTRIBUER
