Accueil / Faut-il interdire les robots tueurs autonomes ?

Faut-il interdire les robots tueurs autonomes ?

Publié en ligne le 7 septembre 2020 - Intelligence Artificielle -
Cet article est une adaptation d’un article publié dans la rubrique Logique & Calcul du n° 458 (décembre 2015) de la revue Pour la science.

La science-fiction n’a pas attendu que la technologie permette d’en fabriquer pour envisager l’idée de robots qui, d’euxmêmes, une fois lancés dans une mission, prennent la décision de tuer des humains ou même se révoltent. Ces robots tueurs portent un nom savant dans les discussions internationales sur l’armement : SALA, pour Systèmes d’armes létaux autonomes (en anglais LAWS, Lethal Autonomous Weapons Systems). Ils sont sur le point d’exister, voire existent déjà. Leur introduction sur les champs de bataille suscite des débats où se mêlent des questions logiques, pour les définir ou pour comprendre ce qui leur est possible, et des questions éthiques encore plus délicates que lorsqu’elles concernent les soldats humains.

Dès 1942, dans la revue Astounding Science Fiction, le célèbre et prolifique écrivain américain d’origine russe Isaac Asimov (1920-1992) avait évoqué la question de l’éthique des robots. Aujourd’hui, il est d’ailleurs considéré comme le créateur de la roboéthique, discipline philosophique donnant lieu à des colloques et à de nombreux livres, en particulier aux ÉtatsUnis. Sa nouvelle Runaround (Cercle vicieux) de 1942 énonce les trois lois de la robotique dont devraient tenir compte les programmes de tout robot pour contrôler les comportements de ces automates et les soumettre à des impératifs moraux protecteurs des humains (voir encadré).

© TheCrimsonMonkey | Istockphoto

Des lois impossibles à respecter

Les difficultés qu’entraîne le respect de ces lois sont le sujet de plusieurs des cinq cents livres qu’Asimov écrivit. Il prenait ses lois au sérieux

Les lois de la robotique d’Asimov

Isaac Asimov pensait qu’il faudrait garder le contrôle des robots pour éviter qu’ils ne deviennent dangereux et imagina qu’on programmerait en eux des lois les empêchant de ]s’attaquer aux humains. De telles lois de la robotique sont délicates à concevoir, d’où les nombreuses variantes qui en ont été formulées. Surtout, elles exigent des robots un type d’intelligence générale que nous ne savons pas programmer aujourd’hui, ce qui rend impossible leur prise en considération. Par ailleurs, les robots envahissent nos vies subrepticement, en empruntant des formes différentes de celles que nous avions imaginées... par exemple comme armes autonomes ayant pour seule fonction de tirer sur des humains, ce qui est parfaitement contraire aux lois d’Asimov.

© sarah5 | Istockphoto
  • Première loi. Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger.
  • Deuxième loi. Un robot doit obéir aux ordres donnés par les humains, sauf si de tels ordres contredisent la première loi.
  • Troisième loi. Un robot doit protéger son existence, sauf si cette protection contredit la première ou la deuxième loi.

Asimov ajoutera plus tard une autre loi.

  • Loi zéro. Un robot ne peut ni nuire à l’humanité ni, restant passif, permettre que l’humanité souffre d’un mal.

et imaginait réellement qu’elles seraient adoptées. Aussi, à la projection du film de Stanley Kubrick 2001, l’Odyssée de l’espace, il quitta la salle, furieux lorsque l’ordinateur HAL 9000 viola la première loi en s’en prenant à un membre de l’équipage du vaisseau spatial Discovery One.

Asimov n’a pas été exaucé : les robots actuels n’ont pas en eux de mécanismes ou d’instructions les forçant à se soumettre à ses lois de la robotique. Pourquoi ? La première raison est que les robots n’ont pas été créés comme on l’imaginait et avec les qualités que certains voudraient. Les sciences et la technologie n’ont pas soudainement créé des êtres qui nous ressemblent auxquels on parle comme à des esclaves ou des domestiques pour leur expliquer ce qu’ils doivent faire. La venue des robots, et plus généralement des systèmes dotés de parcelles d’intelligence, se fait progressivement en empruntant des voies inattendues, qui rendent difficiles de savoir ce que l’on doit appeler robots et encore plus de ce qu’on doit considérer comme des systèmes intelligents.

L’automatisme qui fait atterrir votre avion est-il un robot ? Est-il intelligent ? Il est trop facile de répondre non. Il opère aussi bien qu’un humain et sait très précisément où il est (il a donc une forme embryonnaire de conscience de lui-même), ce qui est important pour bien poser l’appareil. Même s’il est très limité, qu’il ne sait ni lire le journal, ni réserver une chambre d’hôtel, ni apprécier un bon film, il nous égale pour un travail que nous n’hésitons pas à considérer comme délicat et important. Les algorithmes des moteurs de recherche d’Internet réussissent à trier de l’information et à nous conseiller sur les pages à consulter comme aucun être humain ne saura jamais le faire. Là encore, il est difficile de savoir si l’on doit parler de robots et d’intelligence, mais c’est se satisfaire à bon compte de décréter que ces algorithmes sont stupides ; ils ne le sont pas, même s’ils ne sont capables que d’un travail spécialisé.

Pour appliquer ces lois de la robotique d’Asimov, il faudrait que nos systèmes informatiques disposent d’une faculté d’analyse et de raisonnement s’appliquant à tout et soient capables d’anticiper les conséquences de telle ou telle action pour déterminer si un ordre contredit ou non la première loi, ou la deuxième, etc. Aucun de nos robots ne sait mener de telles analyses.

Ne croyons pas pour autant que la prise en compte des problèmes éthiques est superflue et prématurée. Dans le domaine des véhicules autonomes (voitures, camions, autobus, etc.) sur lequel l’industrie travaille intensément et voudrait proposer rapidement des produits, le débat a commencé et semble urgent.

Faire face à des dilemmes

Imaginons une voiture autonome sans conducteur devant laquelle un enfant poursuivant un ballon traverse la route, alors que sur la voie en sens inverse arrive un adulte à vélo. Imaginons que le système de conduite automatique, parfaitement maître de la situation, analyse qu’il n’a que deux options : renverser l’enfant et probablement le blesser ou le tuer, ou donner un coup de volant à gauche et percuter le vélo, ce qui risque d’être fatal à l’adulte. Faut-il préserver l’enfant ou l’adulte ? Autre exemple de dilemme : faut-il se jeter sur un arbre avec tous les risques que cela entraîne pour les passagers, ou rester sur la route en fonçant sur la voiture qui arrive droit en face en doublant un camion ?

Qui doit fixer les règles ? Comment ? Répondre à ces questions sera difficile, mais on ne pourra s’en dispenser. Le problème des règles éthiques devient parfois logiquement très compliqué et même indécidable au sens des logiciens, comme des chercheurs l’ont récemment mis en évidence (voir l’encadré).

Il y a une seconde raison, bien plus désolante, pour laquelle les lois de la robotique ne sont pas intégrées : nous fabriquons certains systèmes robotiques dont la fonction est de tuer ! C’est aujourd’hui devenu une question grave qui doit nous inciter à la réflexion.

Le problème n’est pas tout à fait nouveau et ne devient vraiment délicat que lorsque les trois mots « robot », « autonome » et « tueur » sont associés. Une mine déposée sur un chemin est autonome en ce sens qu’elle « décide » d’exploser quand elle « perçoit » une présence dans son environnement immédiat, et cela sans qu’aucun humain ne valide son choix.

© sestovic | Istockphoto

De nombreux missiles et bombes n’explosent que lorsqu’un mécanisme sensible détecte leur arrivée au contact de la cible ou du sol. Plus délicat est le cas des missiles qui, une fois lancés, vont inexorablement vers leur cible.

© RYGERSZEM | Istockphoto

Plus ennuyeux encore, certains missiles déterminent eux-mêmes leur cible et se dirigent vers elle en analysant le contraste des images (qui permet le repérage des navires en mer) ou en fonction des rayonnements infrarouges. Des systèmes de surveillance frontalière visent et font feu sur toutes les cibles qui franchissent des zones interdites. C’est le cas du robot-sentinelle Samsung Techwin SGR-A1 déployé dans la zone démilitarisée entre les deux Corées. Il est contrôlé par des opérateurs humains, mais dispose d’un mode automatique. Certains systèmes antimissiles se déclenchent sans intervention humaine, tel le système américain Patriot ou le système israélien Dôme de fer.

Notons que les drones utilisés aujourd’hui sur de nombreux champs de bataille sont pilotés à distance et maintiennent toujours un humain dans le circuit de décision ; le plus souvent, ils attendent même un ordre explicite d’un officier avant de tirer. On connaît leur efficacité d’engins tueurs... et l’on sait qu’ils font de nombreuses victimes collatérales. Certains d’entre eux peuvent fonctionner en mode automatique, qui leur permet de décider de tirer sans intervention humaine.

Où allons-nous ?

Parmi les arguments donnés pour défendre ces systèmes et la poursuite de leur développement, mentionnons les deux principaux. Le premier est qu’il est trop tard, ces systèmes existant déjà. Le second est que ces armes seront plus précises et, à terme, seront mieux à même de respecter les civils et les règles d’une guerre modérée que ne le font les combattants humains : ces armes pourraient conduire à des conflits plus « propres ».

Au premier argument, on peut facilement rétorquer qu’il existe aussi des armes nucléaires, chimiques, ou bactériologiques et que cela n’a pas empêché la mise en place de traités internationaux pour les réglementer ou les interdire. Ces accords ne sont pas vains, ils ont en effet limité l’usage des armes concernées. Des accords existent à propos des mines antipersonnel et des lasers destinés à aveugler l’ennemi (un accord à leur sujet est entré en vigueur en 1998). On peut donc s’entendre pour cesser de développer les robots tueurs autonomes. Le problème est aujourd’hui en discussion dans les instances internationales et nous avons chacun le pouvoir d’agir pour demander que ces discussions aboutissent rapidement.

Concernant le second argument prétendant que les robots tueurs pourraient conduire à des guerres plus propres, il doit être dénoncé. En effet, il revient à considérer qu’on sait mettre dans les robots tueurs des règles de morale du type « ne s’attaquer qu’aux ennemis », « ne pas viser les civils », « répondre à une attaque de manière proportionnée », etc., alors que justement on ne sait pas plus le faire que programmer les lois de la robotique d’Asimov.

Il faudra peut-être reconsidérer le problème si nous réalisons un jour des robots aux capacités d’analyse améliorées, mais il est aujourd’hui certain que nous ne savons pas programmer des règles morales du type de celles qu’envisageait Asimov. En résumé : les robots que nous fabriquons sont capables de se déplacer avec une grande précision, de tirer vite et bien, sur des cibles humaines ou non, mais ils ne savent pas décider s’il faut tirer et si oui, sur quoi.

Ceux qui s’opposent aux robots tueurs autonomes avancent d’autres arguments. Une lettre publiée en juillet 2015 [1], signée par près de 20 000 personnes, spécialistes en intelligence artificielle ou simples citoyens se sentant concernés, dont le célèbre physicien Stephen Hawking et le cofondateur d’Apple Steve Wozniak, demande l’arrêt des recherches sur ces systèmes autonomes capables de tuer. Elle évoque l’utilisation possible de ces armes par des terroristes. Le problème est plus grave que pour d’autres types d’armes tels que les bombes atomiques, car la mise au point de robots tueurs autonomes est une affaire de logiciels et de technologies largement diffusées et relativement faciles à mettre en œuvre. Or un logiciel se duplique et circule facilement, ce qui n’est pas le cas d’une arme nucléaire ! Les éventuels progrès dans le développement des robots pourraient être utilisés par les pires dictateurs ou terroristes, ou pour soutenir les causes les moins défendables, qui ne seraient pas nécessairement politiques mais pourraient aussi être liées au grand banditisme.

Pour formuler des accords internationaux, reste bien sûr la difficulté réelle à fixer une bonne définition de ce qu’est un robot autonome. Mais est-ce vraiment plus délicat que de déterminer ce qu’est une arme bactériologique ou une arme chimique ? Vu l’importance des enjeux, ne peut-on pas se mettre d’accord sur les cas ne présentant aucune ambiguïté ?

La révolte des robots

© Devrimb | Istockphoto

Dans les romans et films de science-fiction, un thème revient régulièrement : la révolte des robots. C’est sans doute en pensant à elle qu’Asimov a souhaité introduire ses fameuses lois : il faut que les esclaves mécaniques restent sages et soumis.

Bien que les robots d’aujourd’hui soient totalement incapables de se rebeller, le problème de ces éventuelles révoltes futures est intéressant. Il est cependant beaucoup plus délicat qu’on ne le présente en général. D’abord se pose le problème des bugs. On le sait, il est quasiment impossible de fabriquer des systèmes informatiques sans y laisser des erreurs. Il est donc à prévoir qu’il y en aura dans les robots, même en supposant des technologies beaucoup plus avancées que celles d’aujourd’hui.

Dès lors, comment éviter un bug qui conduirait un robot capable de tuer à s’attaquer systématiquement à tous les humains qu’il rencontre ? Un tel bug, par exemple dû à une ligne de programme effacée malencontreusement, doit-il être considéré comme une révolte ?

Sans doute pas. La question est en fait analogue à celle de la responsabilité chez les humains. Un fou n’est pas responsable, même quand il tue. Il faudrait donc définir ce qu’est la folie d’un robot. Sans doute qu’entre bug et révolte (au sens usuel), tout un continuum de situations seront possibles. Le véritable problème de la révolte des robots sera avant tout celui de cette distinction, plus que délicate. Avant qu’une armée de robots organisés et décidés à arracher le pouvoir aux humains se lève et nous attaque, nous aurons à faire face à une multitude de situations embrouillées où le dysfonctionnement d’une machine aura engendré des blessures ou des morts, voire de graves catastrophes dont nous ne distinguerons pas la nature : panne stupide ou rébellion délibérée ?

Susan Anderson, de l’université du Connecticut, spécialiste reconnue des problèmes d’éthique des robots, se demande si une telle révolte ne serait pas justifiée. Pour elle, le grand philosophe de la morale Emmanuel Kant avait abordé indirectement le problème des robots intelligents. Elle jette un regard nouveau sur les lois de la robotique d’Asimov : si des « robots » avaient les capacités à comprendre et à appliquer les lois de la robotique, aurions-nous le droit de les leur imposer ou d’en faire nos esclaves ?

S. Anderson remarque que pour Kant, et pour notre société aussi, nous devons un certain respect aux animaux parce qu’en ayant ce respect, nous l’aurons les uns envers les autres. De la même façon, d’après elle, si Kant avait réfléchi au problème des robots, il aurait défendu l’idée que le jour où ils existeront et seront capables de comprendre les lois de la robotique, nous devrons avoir du respect pour eux, ce qui nous interdira de leur imposer les lois de la robotique auxquelles il faudra donc renoncer.

L’idée n’est pas loin de celle défendue par le roboticien Hans Moravec, de l’université Carnegie-Mellon, selon laquelle les robots seront notre descendance et que même s’ils prennent notre place, cela se fera avec notre accord, comme lorsqu’un vieillard confie à ses enfants la gestion de ses affaires.

Entre ces problèmes lointains traités avec délices par la science-fiction et que la science et la philosophie nous obligent à reconsidérer, et ceux immédiats de la juste évaluation de ce que sont vraiment nos robots actuels (tueurs ou non) et de ce qu’on doit en faire, se dessine une longue série de délicates questions éthiques et philosophiques dont certaines exigent un traitement urgent. Philosophes, éthiciens, logiciens, militaires et informaticiens doivent se parler et s’entendre.

Références

1 | Hawking S et al., “Autonomous weapons : An open letter from AI & robotics researchers”, 2015. Sur futureoflife.org

Bibliographie

Galliott J, Military Robots, Mapping the Moral Landscape, Ashgate, 2015.
Doaré R et al., Drones et killer robots : faut-il les interdire ? Presses universitaires de Rennes, 2015.
Englert M et al., “Logical limitations to machine ethics with consequences to lethal autonomous weapons”, prépublication arXiv, 2014, 1411.2842.
Krishnan A, Killer robots : Legality and ethicality of autonomous weapons, Ashgate, 2009.
Anderson SL, “Asimov’s ‘three laws of robotics’ and machine metaethics”, Ai & Society, 2008, 22 :477-93.

Nous signalons volontiers
LES 3 LOIS DE LA ROBOTIQUE
Faut-il avoir peur des robots ?
Jean-Claude Heudin - Science eBook, 2015

Dès que l’on parle des robots, la réaction la plus courante est celle d’une interrogation sur l’avenir avec une angoisse latente de voir un jour les machines supplanter l’homme et même de le faire disparaître. Jean-Claude Heudin examine les origines historiques et culturelles de ce sentiment et nous montre qu’il ne reflète pas la réalité de la robotique. Néanmoins, en s’appuyant sur une réflexion à propos des lois de la robotique proposées par l’écrivain de science-fiction Isaac Asimov, il met en évidence la nécessité d’une réflexion éthique, individuelle et collective, resituant l’homme au centre de la robotique et, plus généralement, des sciences et technologies.

Présentation de l’éditeur

Publié dans le n° 332 de la revue


Partager cet article


L' auteur

Jean-Paul Delahaye

est professeur émérite à l’université de Lille et chercheur au Centre de recherche en informatique signal et automatique (...)

Plus d'informations

Intelligence Artificielle

L’intelligence artificielle (IA) suscite curiosité, enthousiasme et inquiétude. Elle est présente dans d’innombrables applications, ses prouesses font régulièrement la une des journaux. Dans le même temps, des déclarations médiatisées mettent en garde contre des machines qui pourraient prendre le pouvoir et menacer la place de l’Homme ou, a minima, porter atteinte à certaines de nos libertés. Les performances impressionnantes observées aujourd’hui sont-elles annonciatrices de comportements qui vont vite nous échapper ? Ou, au contraire, masquent-elles des limites qui ne manqueront pas de s’imposer rapidement ?