L’IA, ça sert aussi à faire la guerre

L’IA, ça sert aussi à faire la guerre. J’utilise de préférence l’expression IA à celle d’ « intelligence artificielle » qui est un abus de langage masquant sa dimension prolétarisante de bêtise artificielle. L’utilisation de l’acronyme laisse ouvertes différentes déclinaisons. L’une des pires possibles est celle qu’Alain Damasio traduit par « Injecteur d’Agression » (dans La vallée du Silicium). L’auteur se demande, par ailleurs, ce que pourrait être une IA signifiant « Intelligence Amie ». En allemand, le terme KI (pour Künstliche Intelligenz), que l’auteure utilise elle aussi, me semble d’avantage mettre l’accent sur l’artefact que sur une « intelligence » prétenduement offerte d’un clic.
Je verse au débat un texte que j’ai traduis ci-dessous. Il est paru sur le site web Netzpolitik (Politique digitale). Il a été rédigé par Cathy Mulligan, une experte en technologies et économie digitales qui est actuellement associée à la Fondation Robert Bosch à Berlin. Elle a également été membre du Groupe de haut niveau sur la coopération numérique du Secrétaire général de l’ONU ainsi que chargée de recherche au World Economic Forum Blockchain Council.
J’avais déjà abordé la question de l’autonomie létale des robots guerriers, avec la traduction d’un texte de Frank Rieger, en 2012. Mais une étape supplémentaire est entrain, semble-t-il, d’être franchie avec l’implication de l’IA dans la conduite même de la guerre. Que l’autrice aborde ici sous l’angle de son rapport aux conventions de Genève sur la protection des civils dans les conflits armés. Si elle insiste sur la nécessité de nouveaux accords internationaux concernant l’utilisation de l’IA sur le champ de bataille en raison de la perte d’autonomie de ses acteurs, cela n’exclut pas, bien entendu, que la question se pose dans d’autres domaines, au-delà du militaire. Elle a également une dimension de « guerre économique », géopolitique. Ces technologies de contrôle sont aussi policières, avec la vidéosurveillance algorithmique. Et menacent la démocratie, comme nous l’avons  évoqué précédemment, ici avec Anne Alombert.
Le journal Le Monde a consacré deux articles à l’utilisation par l’armée israélienne du programme IA Lavender, à Gaza. On peut les lire ici et là.

La conduite automatique de la guerre et la Convention de Genève
par Cathy Mulligen

La conduite de la guerre est de plus en plus numérisée et automatisée. Le rôle des citoyens au sein des Conventions de Genève s’en trouve également modifié. Pour faire face à cette évolution, nous avons besoin de toute urgence de nouveaux accords internationaux.

Photo de rishi sur Unsplash

Les technologies de ce que l’on appelle intelligence artificielle (IA) ont connu un essor fulgurant au cours des 18 derniers mois – avec, par exemple, l’introduction de ChatGPT – et une rapide croissance commerciale. Récemment, plusieurs agences de presse ont rapporté qu’Israël utilisait l’IA dans le conflit de Gaza, ce que l’armée israélienne nie avec véhémence. Il ne fait toutefois guère de doute que les nouvelles technologies seront bientôt utilisées sur le champ de bataille.

Dans la conduite de la guerre, les ordinateurs et les processus automatisés sont utilisés dans des systèmes beaucoup plus sophistiqués, par exemple sous la forme d’armes automatisées et de véhicules sans pilote capables de prendre des décisions autonomes sur le champ de bataille. Il y a d’autres exemples tels que les technologies qui permettent une prise de décision plus rapide en étant intégrées dans la planification des combats ou l’interception rapide des messages radio de l’ennemi.

Dans le monde de l’économie et des affaires, beaucoup d’attention a été accordée aux distorsions, discriminations et pertes possibles d’emploi du fait de l’utilisation de l’IA. Cependant, devrait figurer en première place la discussion sur les conséquences de cette utilisation sur la conduite de la guerre : la prise de décision ou les armes automatisées n’automatisent pas seulement la guerre elle-même mais peuvent aussi déplacer et modifier le rôle des citoyen.ne.s au sein de la Convention de Genève.

Digitalisation de la conduite de la guerre

Aux États-Unis, il n’est pas inhabituel de constater d’étroits liens entre l’industrie tech et l’armée. Eric Schmidt, ancien PDG de Google qui, à côté de cela, avait également travaillé comme conseiller pour les forces armées américaines en tant que président du comité consultatif pour le ministère de la défense et de la commission de sécurité nationale sur l’intelligence artificielle, en est un exemple célèbre. Il a récemment, dans un article pour Foreign Affairs, préconisé « une stratégie à la vitesse des ordinateurs et non à la vitesse des humains ». Schmidt compare l’IA avec les conquistadors qui ont vaincu l’empire Inca. Il veut s’assurer que les Etats-Unis soient capables d’une conduite de la guerre entièrement automatisée. Dans ce domaine, « des drones armés autonomes – c’est à dire pas seulement des engins volants sans pilote mais aussi des véhicules terrestres – remplaceront entièrement les soldats tout comme les équipages de l’artillerie ».

Les véhicules aériens et terrestres que le États-Unis doivent, selon Schmidt, développer, en sont encore au stade expérimental. Mais on travaille déjà pour que les engins militaires dont les avions de combats et les sous-marins puissent opérer à côté d’essaims de drones autonomes pendant que l’IA coordonne les actions.

Même si beaucoup de ces choses paraissent tirées par les cheveux, la prise de décision automatique dans le domaine militaire est bien plus avancée que dans d’autres domaines. Le projet Maven est financé par les États-Unis en 2017 alors que des projets communs comme AUKUS bénéficient d’une active collaboration entre l’Australie, les États-Unis et la Grand Bretagne pour le développement de systèmes d’armes.

Conséquences sur les convention de Genève

L’automatisation des systèmes et des armements dans la guerre peut à première vue apparaître comme une bonne idée. En principe, il serait possible de mener la guerre en alignant moins de jeunes gens sur la ligne de tir. Dans la déclaration de l’armée israélienne, selon laquelle elle n’utilise pas d’IA pour le ciblage d’êtres humains se trouvait, cachée, une petite phrase qui devrait nous faire réfléchir :

« …une personne, qui participe directement aux hostilités sera considérée comme une cible légitime ».

La question décisive pour le monde qui se trouve précipité dans l’ère de la conduite de la guerre appuyée et guidée par l’IA est de savoir quelles conséquences cela aura sur les conventions de Genève et le rôle qu’auront dans la guerre les citoyen.ne.s. L’IA a le potentiel de transformer dramatiquement les deux.

Les conventions de Genève et les protocoles additionnels forment le noyau du droit des peuples humanitaire et règlent le déroulement des conflits armés. Ils ont pour but de limiter les conséquences de la guerre en protégeant celles et ceux qui ne participent pas ou plus aux hostilités. Toute nouvelle génération technologique soulève des problèmes d’application des conventions de Genève, qui ont été formulées peu après la seconde guerre mondiale en réaction aux horreurs de cette dernière.
Cependant la plupart des précédentes générations technologiques tombent encore dans le domaine de la conduite de la guerre traditionnelle. La saisie automatique de données et leur analyse menacent de modifier la compréhension de ce que signifie « qui participe directement aux hostilités ».
La raison de ce déplacement réside dans la conception de tels systèmes automatisés. Indépendamment de la manière dont ils sont mis en œuvre, ces soi-disant applications de l’IA nécessitent une masse de données considérable qui doivent être traitées suffisamment vite pour être utilisables dans les combats. L’IA militaire doit analyser des millions de requêtes pour pouvoir rendre des recommandation sensées.

Qui est encore un.e civil.e ?

Les risques liés à l’utilisation de l’IA dans la conduite de la guerre ne font guère l’objet d’une discussion publique. Cette digitalisation est un défi aussi bien pour les militaires que pour le droit humanitaire parce que le rôle des citoyen.ne.s dans la conduite de la guerre devient dans certains cas de plus en plus flou.
Un exemple de cela se trouve dans l’utilisation de cryptomonnaies pour la collecte de fonds de 225 millions de dollars pour les efforts de guerre en Ukraine entre autres pour des armes, des munitions de l’équipement médical. En comparaison une campagne tchèque de financement participatif (crowdfunding) a rapporté 1,3 millions de dollars pour l’achat d’un char pour les forces armées ukrainiennes. Dans d’autres zones de guerres, l’on peut observer que des civil.e.s mettent à disposition leurs ordinateurs personnels pour des attaques par déni de service (DdoS) ou que ceux-ci soient hackés par des virus informatiques et utilisés pour ce genre d’activités.
Ainsi les technologies digitales mettent en question celle de définir qui dans la guerre est un.e civil.e. Et l’intéressante et difficile interrogation de savoir qui y participe activement. Avec les applications des smartphones, des civil.e.s peuvent eux-mêmes devenir une importante source de données dans les efforts de guerre.

Menaces d’un nombre croissant de victimes

Les stocks de données automatisés sont tributaires d’informations actualisées pour pouvoir servir à la prise de décision militaire. Si ces données proviennent de smartphones civils, ces personnes peuvent être considérées comme participant activement à la guerre.
Si l’ ordinateur, portable ou non, d’une personne sert pour des attaques DDoS, il est un peu plus difficile de prouver qu’elle est impliquée volontairement. La collecte active d’argent – soit par cryptomonnaies ou par des plateforme de crowdfunding – peut être plus facilement interprétée comme une participation aux hostilités.
Les technologies digitales ont permis aux individus de collecter de l’argent à l’échelle mondiale et d’endosser un rôle qui était auparavant réservé aux états : la mise à disposition d’armements pour le champ de bataille.
Au-delà de cela, l’utilisation de stocks de données provenant de différentes sources fait courir le risque plus grand qu’ils soient infesté de virus ou qu’ils soient nourris de données fausses pour entraver les efforts de guerre. De ce fait, des scenarii deviennent possibles dans lesquels l’IA recommande des mesures qui détériorent la conduite de la guerre ou mènent à des décisions précipitées sans attendre la réaction de l’ennemi. Au lieu de réduire le nombre de victimes, la prise de décision automatisée peut involontairement les augmenter dramatiquement.

Ce qui distingue l’IA de la bombe atomique.

Durant la guerre froide, nous avons été à plusieurs reprises au bord de l’utilisation d’armes nucléaires. Les mises à feu des fusées ont été empêchées en partie en raison de la lenteur qu’avaient alors les communications mais plus encore par le rôle que jouaient les humains. L’incident peut-être le plus célèbre eut lieu en 1983 quand un système informatique avait faussement annoncé le lancement de six fusées atomiques depuis les États-Unis vers l’Union soviétique. L’officier de service Stanislav Petrov prit la décision qu’il devait s’agir d’une erreur et préserva, en désobéissant consciemment à la procédure, le monde d’une guerre nucléaire totale qui aurait été déclenchée par les mesures de représailles des USA et de l’OTAN.
Beaucoup de gens ont comparé l’IA avec les bombes atomiques. Ces technologies se distinguent cependant profondément des armes nucléaires. Dans le domaine des armes atomiques, l’autonomie des humains a été préservée. L’homme était associé du début à la fin, à chaque étape de l’analyse, de l’interprétation et de la réaction aux données fournies par les différents systèmes informatiques.
Beaucoup de défenseurs et de développeurs de l’automatisation militaire propagent l’idée d’une approche « humain-dans-la-boucle » (Human-in-the-Loop). Il s’agit d’associer à différents points du processus IA un décideur qualifié pour s’assurer que c’est un homme qui décide et non les algorithmes eux-mêmes. De cette manière, on veut se convaincre que l’éthique et la morale humaines intègrent les processus de décisions et préservent ainsi le droit humanitaire.

Autonomie et contrôle

La question centrale est ici cependant celle de l’autonomie. Avec les systèmes automatisés, l’homme perd de plus en plus, avec le temps, l’autonomie de prendre des décisions sur les stocks de données. Plus il y a de données utilisées pour la réalisation et l’amélioration des modèles et plus ces modèles sont développés pour améliorer les algorithmes, moins l’homme peut avoir de savoirs sur ces processus. Il en résulte qu’il est douteux de connaître jusqu’où un homme peut prétendre, de manière crédible, à l’autonomie ou au contrôle sur les décisions prises par l’IA
L’extraordinaire masse de sources de données qui doivent être combinées et évaluées distinguent profondément l’IA des générations précédentes de conduite de guerre digitale. La solution « humain-dans-la-boucle » n’est pas la bonne réponse à la question de savoir dans quelles conditions les civil.e.s peuvent être définis comme participants actifs aux efforts de guerre.
Nous avons besoin de nouvelles solutions, de nouveaux accords internationaux qui ne se concentrent pas seulement sur l’utilisation de nouvelles armes de guerre mais aussi sur la manière dont les sources de données pour ces armes peuvent être utilisées. Il faut clairement définir ce qui distingue les participant.e.s à une conduite de guerre basée sur le numérique pour que les gouvernements, les militaires et les civil.e.s puissent dans les zones de guerre prendre des décisions fondées.
Si des mesures ne sont pas prises, il dépendra une nouvelle fois d’hommes suffisamment courageux pour désobéir aux ordres afin d’éviter les terribles conséquences du tout automatique.

(Cathy Mulligen : Automatisierte Kriegsführung und die Genfer Konvention. Texte paru sous licence creative commons.Traduction : Bernard Umbrecht)