Vers l’autonomie létale des robots guerriers ?

En juin dernier, le SauteRhin publiait un premier texte de Frank Rieger  sur l’automatisation intitulé Pour une socialisation des dividendes de l’automatisation. On ne sera pas étonné que la nouvelle vague d’automatisation et de robotisation n’épargne pas les armées. Voici donc en quelque sorte la suite parue également dans la Frankfurter Allgemeine Zeitung. Les commentaires et autres éléments du contexte sont renvoyés à la fin qui s’efforce aussi de construite une passerelle avec des réflexions en France notamment celles de Bernard Stiegler.

article invité
Guerre de drones
Le visage de nos adversaires de demain

Par Frank Rieger

Nous sommes à l’aube d’une course aux armements pour une guerre de robots autonomes. Pour l’instant, ce sont encore les hommes et non les drones qui ont le pouvoir de décision sur la vie et la mort. Il nous faut cependant mener le débat sur ce que les machines doivent pouvoir faire avant que le progrès ne s’empare du dernier reste d’humanité.
Depuis la préhistoire, l’homme consacre une grande partie de son énergie, de ses ressources, de son intelligence, au conflit guerrier. Malgré toute la complexité des armements, animaux de selle, chars, avions, fusées intercontinentales, le combat armé est un combat entre les hommes – jusqu’à présent. Dans la guerre aussi se déverse une vague d’automatisation. Le conflit militaire et sa petite sœur la surveillance généralisée au nom de la sécurité est de plus en plus dominé par les machines et les algorithmes.
Des systèmes autonomes qui n’ont plus besoin de l’homme pour prendre une décision deviennent l’épine dorsale des futurs conflits militaires. Les restes de guerre en Afghanistan et en Irak, les nouveaux conflits en Afrique et une série peu connue d’interventions armées sur d’autres continents sont en grande partie menées depuis les airs avec des drones téléguidés qui ne sont pas seulement équipés de capteurs, de caméras, d’instruments de contrôle radio mais également de missiles.
Dans les projets des armées, c’est également le cas pour la Bundeswehr (Armée allemande), les robots machines de combats prennent une place toujours plus grande. En comparaison, les coûts de production et de fonctionnement sont bas et il n’y a pas nécessité de prendre en compte les besoins de pilotes ou de conducteurs. Les supérieurs n’ont pas besoin de discuter par radio avec un pilote qui a sa propre perception de la zone de combat, peut mal interpréter un ordre ou l’ignorer.
Le nouveau pilote, s’il doute, se trouve à l’autre bout du couloir devant sa console de contrôle des drones. La formation de ceux qui pilotent les drones à distance est bien moins chère et plus courte que celle d’un pilote de jet. Ils peuvent le soir rentrer chez eux et régler les problèmes de la guerre pendant leur temps de service. Les effets de cette distanciation numérique à la guerre sur la psyché des soldats ne se révèlent que peu à peu.
Il y a un moment déjà que les ordinateurs peuvent faire voler des avions y compris à très grandes vitesses et dans des conditions difficiles. Tout avion de ligne dispose d’un pilote automatique qui pourrait piloter un avion du décollage à l’atterrissage. Seul le trajet est programmé. En règle générale, les drones sont téléguidés de la même façon : des points de passage leur sont indiqués et rejoints, les boucles de maintien au dessus des objectifs à observer et sur lesquels ils doivent tirer sont programmés. Selon la situation, on peut aussi piloter en direct mais avec des écarts de temps de l’ordre de la seconde en raison des liaisons satellites.
La question de savoir contre quelles cibles et selon quels critères les armes robotisées doivent être dirigées est au centre de la discussion actuelle sur les drones car personne n’est sur place, la réalité est appréhendée à des distances de milliers de kilomètres par des capteurs et des caméras. Des erreurs fatales sont à l’ordre du jour, les meilleurs prescriptions et procédures n’y changent rien.
Les flots de données provenant des capteurs d’un engagement massif de drones dépassent déjà maintenant les capacités des satellites de transmission et échappent à l’évaluation complètes par les hommes ne serait-ce que par leur pure masse. La conséquence logique : dans ce domaine aussi on travaille avec de l’intelligence machinique qui cherche des modèles pour en déduire des guides d’action. Formellement, le soldat est encore le tireur de missile mais on lui a retiré un grand nombre de décisions essentielles en amont du tir proprement dit.
Des hommes à terre sont déjà aujourd’hui agressés depuis les airs par des missiles uniquement parce que leurs déplacements saisis par des drones et comparés aux modélisations issues des banques de données les désigne comme typiquement insurrectionnels qu’il s’agisse d’un gardien de chèvre, d’un contrebandier ou d’un soldat ennemi mais cela le robot combattant volant ne peut le discerner. Si, aujourd’hui les analyses automatisées se font encore sous la surveillance des hommes dans des centres de contrôle, elles se feront à l’avenir à bord des drones pour économiser du temps, du personnel et des capacités de transmission.
Le sens du développement est clair : seul le déclenchement final du feu est encore laissé aux hommes pour des raisons juridiques et morales. Il peut encore en s’appuyant sur son expérience des erreurs typiques de la machine décider de ne pas tirer. Mais même dans ce cas ci son comportement est sous contrôle d’algorithmes qui tirent les leçons de son attitude pour se perfectionner. A un moment ou à un autre, relativement proche, le déclenchement final du tir ne sera plus qu’un rituel, un acte dans le fond superflu parce qu’il ne représente plus une décision consciente mais un geste hérité d’une tradition lointaine qui apparaîtra au regard des possibilités techniques comme un devoir moral inefficient et désuet.
Comme l’homme n’a absolument pas la capacité de percevoir, de comprendre et d’ordonner les immenses flux de données générées par des machines pour des machines, il ne peut maintenir le pouvoir de commandement que sur un plan abstrait.
Il est difficile de trouver des catégories permettant de saisir nos relations avec les « intelligences » algorithmiques. Imaginons un chien bien entraîné. Nous ne pouvons pas toujours prédire ce qu’il fera le moment suivant ni pourquoi mais nous pouvons lui donner des ordres, utiliser ses capacités et rassembler un savoir d’expérience sur son comportement et ses réactions. Notre chien à l’“intelligence” algorithmique se distingue par ses capacités d’enregistrement illimitées et une mémoire parfaite.
La compréhension qu’a un pilote de drones pour la construction, les défauts et les problèmes des machines se situe à peu près au niveau d’un maître chien qui connaît plutôt bien ses animaux. Il ne sait rien des connexions synaptiques dans le cerveau de son chien mais beaucoup sur le comportement typique des chiens. De la même manière, le pilote de drone ne connaît pas en détail le logiciel de pilotage, il est seulement habitué au modèle d’output caractéristique. L’énorme différence réside dans le fait que l’humanité a accumulé plusieurs années d’expérience sur les caractéristiques et propriétés des animaux domestiques qui ne se transforment que relativement lentement.
Nous sommes au début d’une course aux armements dans le domaine des algorithmes pour l’autonomie létale. Le plus rapide et le moins scrupuleux à utiliser de tels systèmes malgré tous les défauts peut selon la logique de cette course aux armements obtenir des avantages stratégiques et financiers considérables. La nouvelle course aux armements marque un tournant aussi pour les chercheurs qui dans le domaine universitaire travaillent sur les robots et l’intelligence artificielle. Pratiquement chaque domaine de recherche est lié à la construction de nouvelles armes intelligentes.
La compétition préférée des chercheurs en robotique concerne, à côté du football, les scénarios “search and rescue” [cherche et sauve], la recherche de personnes dans des zones et des situations difficiles à appréhender en vue de leur sauvetage. Dans le domaine militaire s’exprime une demande pour une mission analogue : “search and destroy” [cherche et détruit]. Il s’agit aussi de trouver des personnes dans des zones et des situations peu visibles. Mais ce ne sera pas pour les sauver mais pour les tuer. La seule différence d’un point de vue technique est que l’essaim de drones ne jette pas aux pieds de la personne trouvée une balise avec des pansements mais des grenades.
Le but des développements actuels ne concernent pas encore les robots entièrement autonomes à la Terminator tels qu’on les connaît de la science-fiction. La réalité des machines à tuer devient plus banale mais pas moins inquiétante. Sur les champs de bataille des prochaines années apparaîtront des armes “ intelligentes” aera denial. Connus par les jeux vidéo comme Sentinel, ce sont des robots avec l’intelligence d’un système d’alarme moderne. Leur tâche : tirer sur tout ce qui bouge dans la zone qui lui est attribuée appelée kill box jusqu’à ce que plus rien ne bouge. On peut adapter à ces systèmes de capteurs et de réactions, selon les besoins et le concept du produit, différentes options depuis celles “moins mortelles” des balles en caoutchouc jusqu’au jet de grenade en passant par des mitrailleuses. L’effet est celui d’un champ de mines avec une mortalité de 100%..
De tels systèmes ont déjà été construits en Israël et en Corée du Sud pour des tirs automatiques sur des violeurs de frontières. Le même principe existe sous forme d’un drone volant à sens unique qui survole un champ de bataille attend l’apparition d’une cible pour fondre sur elle de manière autonome et exploser, la loitering ammunition.
On discute beaucoup en ce moment dans les milieux militaires des priorités et des mesures pour les prochaines années. La discussion ne porte pas sur une éthique utilitaire qui chercherait à évaluer quel serait le plus grand avantage pour le maximum de personne. Ce type de considération serait carrément incompatible avec l’objectif de maintenir la plus grande flexibilité dans la définition des missions des machines à tuer.
La recherche militaire mise plutôt sur une éthique spéciale dans laquelle les spécifications formelles d’interdits et d’autorisations pour des actions individuelles sont combinées logiquement. Les robots guerriers doivent se comporter de manière analogue aux rules of engagement (les règles d’engagement) d’aujourd’hui tels qu’elles sont prescrites aux soldats occidentaux d’aujourd’hui pour régler l’usage des forces armées.
Il y aura nécessairement comme c’est déjà le cas en Afghanistan et en Irak des problèmes de distinction entre civil et combattant ennemi qui conduiront à des erreurs mortelles. En réglant sur un mode agressif les configurations d’interdits et d’autorisations, ce type de robots peut aussi être utilisé comme une machine à tout détruire.
Il s’ajoute à cela que les réflexions d’aujourd’hui plutôt théoriques sur l’implémentation d’une éthique de robot guerrier s’appuient sur un fonctionnement sans défaut des systèmes. Cette présupposition reste loin de la réalité car les logiciels nécessaires pour de tels systèmes autonomes sont vastes et complexes. Cela n’empêche pas les stratèges militaires de plaider pour un développement rapide de systèmes de plus en plus autonomes.
La crainte grandit en Occident qu’un adversaire – implicitement on pense le plus souvent à la Chine – pourrait avancer plus vite et avec moins de respect pour le droit de la guerre établi.
Dans une étude actuelle des militaires américains, on trouve l’argument suivant : « les systèmes terrestres autonomes doivent être conçus pour faire face à la menace la plus grande sur le champ de bataille : un système autonome hautement mobile et extrêmement létal qui ne dispose pas des fonctions cognitives supérieures pour maintenir les actes de guerre dans le cadre des accords internationaux et du droit de la guerre ».
Le débat sur la demande actuelle de la Bundeswehr de pouvoir disposer de drones armés doit être mené dans la perspective de développements futurs vers l’autonomie. Une fois que les drones seront armés, la logique de la course aux armements des militaires sera enclenchée apportant des motifs de mieux en mieux admis vers toujours plus d’autonomie.
Aujourd’hui, ce sont les liaisons radio qui sont à courte bande ou sensibles aux parasites. Bientôt ce sera la vitesse de réaction humaine qui ne suffira plus pour réagir contre les essaims de robots guerriers agissant de manière autonome à la vitesse de l’ordinateur.
Le débat sur l’armement des robots, sur l’utilité et l’autonomie des machines et leur implication éthique doit être mené avant que ces contraintes évitables et dont l’issue est prévisible n’érode les fondements de manières d’agir morales et humanistes.(…)

Frank Rieger
Traduction Bernard Umbrecht

Frank Rieger, né en 1971, est directeur technique d’une entreprise de sécurité informatique. Il est, depuis 1990, l’un des porte-paroles du Chaos Computer Club. Il est l’auteur d’un livre avec Constanze Kurz Die Datenfresser (Les bouffeurs de données). S. Fischer Verlag
Source : FAZ du 20/09/2012
© Alle Rechte vorbehalten. Frankfurter Allgemeine Zeitung GmbH, Frankfurt.

Le texte se termine sur une référence à un roman policier récent de Daniel Suarez, lui-même informaticien : Kill decision. Je ne l’ai pas lu. Il n’est d’ailleurs traduit ni en allemand ni en français. Son auteur a été interviewé par Frank Rieger dans le même journal

Son roman annonce l’arrivée d’un monde de la guerre anonyme par l’autonomie létale des robots. Commentant le livre toujours dans la FAZ, le philosophe et écrivain Dietmar Dath a repéré dans le roman un passage qui aborde la question de savoir ce que serait une guerre si personne ne la raconte. Dans le livre, un logiciel est prévu à cet effet et se nomme Raconteur(sic) et, explique Dath, probablement que Daniel Suarez se verrait bien comme « designer d’un logiciel pour des applications de divertissement destinées à nos cervelles molles ». Il en conclut que le prochain polar de ce type sera probablement écrit directement par un robot d’Amazone

L’historien Jörg Friedrich a réagi au texte de Frank Rieger dans Telepolis.  Dans cette critique repérée grâce, rappelons à …des robots, et que vous pourrez retrouver grâce au lien automatique que j’associe ici, j’ai relevé ceci : «  La question n’est pas l’utilisation d’armes automatiques, la question est que le soldat lui-même devient un automate. Il doit reconnaître dans son environnement des situations modélisées auxquelles il réagit automatiquement. La technique dans l’intervention militaire ne se reconnaît pas au fait que les machines soient en métal, en plastique ou en silicone mais au fait que le soldat fonctionne lui-même sans accroc».

La prolétarisation généralisée n’est pas contradictoire avec l’autonomie létale des robots tueurs et la technique ne se réduit pas à un matériau, surtout à l’ère numérique.

Je signale un dernier élément de contexte, variante plus optimiste, la sortie d’un nouveau film d’Alexander Kluge que je n’ai pas eu le temps ni les moyens (69,90 euros) de me procurer : Mensch 2.0 (Humain 2.0). On y raconte qu’il existe des robots miniatures chargés de déboucher les canalisations. Ils savent distinguer entre eux-mêmes et la merde, ce qui serait somme toute une assez bonne définition de l’ “intelligence” artificielle. L’intelligence explique A. Kluge a besoin d’un corps et n’existe que par la capacité de se concentrer et d’oublier certaines informations.

Je suis avec beaucoup d’intérêt les travaux de Bernard Stiegler. J’ai repéré dans l’ intervention où il traite de l’automatisation généralisée un passage qui n’est pas sans lien avec le texte de Frank Rieger et que je vous propose ci-dessous.

Get the latest Flash Player to see this player.