Un faux "robot tueur" lors du lancement d'une campagne à Londres
contre les armes entièrement autonomes, en 2013
Dans une lettre ouverte publiée lundi 27 juillet à l'occasion de l'IJCAI, une conférence internationale sur l'intelligence artificielle, qui se tenait du 25 au 31 juillet à Buenos Aires, un millier de personnalités, dont une majorité de chercheurs en IA et en robotique, ont réclamé l'interdiction des armes létales autonomes ALA, capables de sélectionner et de combattre des cibles sans intervention humaine.
Parmi les signataires, on trouve le milliardaire Elon Musk, le constructeur des voitures électriques Tesla et du lanceur SpaceX, l'astrophysicien britannique Stephen Hawking, le cofondateur d'Apple Steve Wozniak, le linguiste américain Noam Chomsky ou Demis Hassabis, le fondateur de DeepMind, une entreprise consacrée à l'intelligence artificielle rachetée par Google.
La lettre dénonce un "danger imminent" découlant du niveau aujourd'hui atteint par l'intelligence Artificielle (AI ou IA)) et de ses progrès prévisibles : L'intelligence artificielle a atteint un point où le déploiement de tels systèmes d'ALA sera faisable d'ici quelques années si les enjeux militaires et plus généralement politiques sont importants. Les ALA ont été décrites comme la troisième révolution dans les techniques de guerre, après la poudre à canon et les armes nucléaires.
D'ores et déjà, en pratique, l'armée américaine, qui sera bientôt suivie d'autres, déploie sur le terrain, notamment dans la lutte contre les djihadistes islamiques, des drones capables de nombreuses décisions autonomes, notamment sélectionner avec le plus de pertinence possible les cibles et diriger vers elles des tirs précis. Mais l'ordre final de tir est réservé à des opérateurs humains à distance, opérant dans des postes de commandement souvent situés à des centaines de kilomètres, sinon aux Etats-Unis mêmes. Ce qui n'empêche pas de nombreuses erreurs de se produire, produisant des victimes civiles comptabilisées comme "risques collatéraux".
Ce fut Barack Obama lui-même qui a pris la décision de généraliser de telles opérations, pour remplacer des troupes sur le terrain. Les pays touchés, notamment le Pakistan et l'Afghanistan, ont protesté, mais sans effets. Il semble aujourd'hui que le Pakistan soit de son côté en train de se doter de telles armes acquises auprès des Etats-Unis.
La pétition craint que les Etats ne se lancent dans une course à l'armement, justifiée par le fait que remplacer des hommes par des machines permet de limiter le nombre de victimes du côté de celui qui les possède. Mais ce ne sont pas seulement les Etats qui le feront. Tous les groupes d'opposition militarisés pourront suivre cet exemple. Ils seront suivis par des individus opérant pour leur compte. En effet, ces armes ne nécessitent pas beaucoup de matériels de base coûteux ou difficile à obtenir. Elles pourront être réalisés souvent à partir de produits disponibles "sur étagère". Des modes de savoir-faire et modes d'emploi circuleront sur le Net. Très vite ces armes apparaîtront sur les marchés parallèles, à la disposition de groupes terroristes souhaitant imposer leurs objectifs et leurs religions aux populations.
Le texte ne se veut pas une charge contre l'intelligence artificielle. Les chercheurs qui l'ont signé redoutent au contraire qu'une telle application de l'IA ne suscite un rejet du grand public contre l'IA qui couperait court à tous ses bénéfices sociétaux futurs. La question de l'interdiction des ALA a fait l'objet d'une réunion de l'ONU en avril 2015. Le rapporteur spécial de l'ONU Christof Heyns plaide depuis plus de deux ans pour un moratoire sur le développement de ces systèmes, en attendant la définition d'un cadre juridique adapté. L'ONG Human Rights Watch a quant à elle dénoncé "l'absence de responsabilité légale" s'appliquant aux actes de ces "robots tueurs" (rapport publié en avril dernier).
La Lettre Ouverte a été publiée par le Future of Life Institute (FLI), un organisme américain à but non lucratif qui étudie notamment les risques potentiels du développement d'une intelligence artificielle de niveau humain en vue d'atténuer les risques «existentiels auxquels doit selon lui faire face l'humanité». Le FLI avait récemment annoncé le financement de 37 projets visant à prévenir les risques de l'IA et financés par un don d'Elon Musk.
Nos commentaires
* L'initiative est évidemment louable. Plus on s'interrogera sur les risques de l'IA, notamment sous sa forme autonome, mieux cela vaudra. Plus les pouvoirs publics, voire l'ONU ou d'autres instances, pourront interdire certaines armes, comme ce fut le cas précédemment des gaz de combat, mieux cela vaudra.
* Mais, à notre avis, il ne faudra pas se faire d'illusion. La recherche et le développement en matière d'ALA se poursuivra dans tous les Etats disposant du niveau technologique suffisant. Ce sera notamment le cas au Etats-Unis, dont les stratèges ont toujours affiché la volonté de se donner une avance de quelques années sur le reste du monde. Les Etats présentés comme une menace contre l'Amérique, notamment la Russie et la Chine, réagiront à leur tour. Il y aura nécessairement des fuites pouvant profiter, comme indiqué ci-dessus, à divers groupes terroristes.
* Le développement d'ALA se fera d'autant plus nécessairement qu'il sera inévitablement un aspect dérivé d'une marche mondiale vers ce que l'on nomme le post-humain. En pratique, ce concept n'intéressera que ceux ayant les moyens financiers nécessaires pour le financer. Ce sera inévitablement le cas des Etats-Unis en premier lieu. En termes géostratégiques, quand on évoque les Etats-Unis, il ne pas seulement évoquer le Département de la Défense et son Agence scientifique, la Darpa. Il faut aussi mentionner les grands du Web américain, notamment Google qui a racheté pratiquement toutes les start-up(s) investissant dans le domaine de la robotique autonome et de l'IA en réseaux intelligents et dont un des directeurs, Ray Kurzweil, se fait le champion du post-humanisme .
* Des systèmes de décision autonomes se construisent déjà en utilisant notamment les big data collectées dans le monde entier à partir des services en ligne offerts par ces Grands du Net et l'appui multiforme de la NSA et de la CIA américaines. Il ne s'agira pas, dira-t-on, d'ALA. Mais en ce domaine, la nuance entre systèmes d'IA autonomes, armes autonomes et armes létales autonomes sera difficile à faire. En guerre, tous les moyens sont bons. Le danger de débordement sera plus grand en ce domaine que celui souvent évoqué par la littérature résultant de prises de pouvoir par des robots autonomes s'érigeant en adversaires de l'humanité.
Faut-il
enfin limiter le concept d'ALA à des systèmes technologiques
?
Une mine qui explose aveuglément aux dépends de tous
véhicules passant à proximité n'est-il pas
l'ancêtre des ALA? Plus gravement, quand on considère
aujourd'hui la façon dont des groupes islamistes terroristes
conditionnent des gamines de 14 ans afin de les transformer en bombes
vivantes, la différence d'avec les ALA n'est pas grande.
Pour se défendre contre de telles armes vivantes autonomes,
dont le nombre inévitablement se multipliera, les pays refusant
de transformer des enfants en robots tueurs ne seront-ils pas en
droit d'utiliser des ALA ?
Références
(merci à Nicolas Leccia nicolas.leccia arobase free.fr
)
*
La
Lettre ouverte "Autonomous Weapons: an Open Letter from AI
& Robotics Researchers"
* Plus généralement, consulter cette page sur le
phénomène des robots en Open
Source
* Revue
Hérodote (recommandée)
Observations
De
François Anceau
Les armes à déclenchement automatique ne sont pas
une nouveauté.... Depuis la mine déclenchée
par une ficelle à la tourelle anti-aérienne de navire
orientée et déclenchée par radar, cela fait
déjà longtemps que l'homme a substitué la condition
de tir à l'ordre de tir. Les nouvelles armes dites autonomes
ne font pas autre chose que d'appliquer des conditions de tir plus
élaborées. Cette "révolution" n'est
en fait qu'une évolution....
De plus, il me semble utopique de vouloir légaliser la guerre
alors qu'il s'agit de la confrontation ultime de deux puissances
pour lesquelles "tous les coups sont permis". La seconde
guerre mondiale et les guerres de religion modernes l'ont bien montré
par leurs horreurs. Si les gaz de combats n'ont pas, ou peu, été
utilisés, ce n'est pas pour obéir à un quelconque
règlement, mais parce que les conditions de combat, devenues
plus dynamiques, ne s'y prêtaient pas...
Tout ce que l'on peut espérer, c'est que ces machines, obéissant
à la rationalité de leur programmation, seront moins
folles que certains combattants, malheureusement beaucoup trop nombreux.....
De Louis Bastien
Interdire
? Oui, mais qui prendra la décision ? Et qui la fera respecter
? Tout ceci n'est que gesticulation de ceux qui veulent faire oublier
ce qu'ils font par ailleurs (notamment Google que vous citez). Quant
à Stephen Hawking, il vaudrait mieux par charité le
laisser tranquille.
D'Alain Bonneau
Pour
les lecteurs intéressés et qui voudraient approfondir
le sujet, voici le lien d'une étude que j'ai réalisée
sur les robots tueurs : http://www.ladeleuziana.org/wp-content/uploads/2015/02/20141227-SALA-et-non-droit-%C3%A0-la-vie.pdf
Je vous remercie d'avoir inclus ce sujet dans votre éditorial.
Je suis d'accord avec les arguments de cette pétition que j'ai signée
et publiée sur Mediapart ainsi qu'avec votre opinion.
Je me permettrai d'ajouter deux points à vos commentaires:
- Comme vous l'avez évoqué dans de nombreux articles sur le sujet,
les Systèmes ALA (SALA) sont dénommés cyniquement LAWS en américain
car : 1- Cela vise sans équivoque à substituer au droit international
humanitaire (conçu pour protéger les civils en tant de guerre en
définissant la notion de combattant) une gestion autonome du risque,
aussi bien en temps de guerre qu'en temps de paix (surveillance
et contrôle des foules), sans appel, sans droit, en automatisant
les fonctions par des systèmes algorithmiques, comme c'est déjà
le cas dans de nombreux domaines de la société.
2- Ce contournement est d'autant plus évident et efficace à très
court terme qu'il dénie toute responsabilité aux politiques, aux
chefs de guerre, ou à un quelconque militaire, ingénieur ou opérateur
: toute cour sera obligée de se déclarer incompétente devant des
pratiques qui ne constitueront pas des atteintes préalablement conçues
par le droit humain. Comme
vous le dites, «Le danger de débordement» sera beaucoup plus grand
que la fiction cinématographique ne l'a laissé supposer.
Je pense qu'il ne s'agit pas ici uniquement de la vision d'homme augmenté chère à un certain nombre de patrons de sociétés technologiques mais de celle de dictatures discrètes des possesseurs de ces machines qui coûteront - comme vous l'avez signalé - bien moins cher que d'entretenir des armées, tant pour les États que pour les sociétés de sous-traitance spécialisées que pour les nouveaux empires fondés sur les big data. Les développements de starts-up innovantes devenant des industries à part entière en dehors de toute législation historique ne sont pas étrangères à cette 3° révolution que vous avez notée.
La course aux armements que craignent les auteurs de l'appel international est déjà enclenchée, et elle a tellement d'avance qu'il est peu probable qu'un quelconque accord entre pays puisse l'empêcher à temps, comme, à l'initiative de la France à Genève en mai et novembre 2014 puis avril 2015, les 170 pays réunis ont tenté de le faire lors des trois réunions de la “Réunion informelle d’experts sur les Systèmes d’Armes Létaux Autonomes (SALA)”, dans le cadre de la “Convention on Certain Conventional Weapons” (CCW). Car les investissements d'importance des États dans l'intelligence artificielle, censés apporter de la croissance à l'économie, reposent tant sur les développements civils que militaires. De surcroît, l'insécurité mondiale record notée par Amnesty International en 2014 n'incite pas les gouvernements à réduire leurs budgets de défense. Le Pape a d'ailleurs déjà déclaré que la 3° guerre mondiale était déclarée par à-coups.
Bien à vous.
