\tUne question souvent pos\u00e9e \u00e0 propos des robots, que ceux qui nous lisent se posent peut-\u00eatre aussi, consiste \u00e0 se demander si le d\u00e9veloppement rapide, sinon exponentiel, de la robotique dans les soci\u00e9t\u00e9s modernes pr\u00e9sente un danger pour l’homme. Cette question \u00e9tait dans l’esprit d’Isaac Asimov, ce romancier de Science Fiction qui avait exploit\u00e9 le th\u00e8me du robot dans ses uvres, \u00e0 une \u00e9poque o\u00f9 la robotique n’avait \u00e9videmment pas atteint le degr\u00e9 de d\u00e9veloppement actuel. La r\u00e9ponse qu’il proposait \u00e9tait simple: \u00e9tablir une grande loi que les roboticiens et les robots eux-m\u00eames devraient respecter: ne pas faire de mal aux humains. Aujourd’hui, la m\u00eame r\u00e9ponse est sugg\u00e9r\u00e9e par ceux qui se pr\u00e9occupent de l’\u00e9thique de la science et de la technologie, c’est-\u00e0-dire des r\u00e8gles morales \u00e9l\u00e9mentaires que, sans r\u00e9f\u00e9rence particuli\u00e8re aux religions, mais en termes de morale sociale la\u00efque, les scientifiques devraient s’efforcer de respecter. <\/p>\n<\/p>\n
\tEn application de cette r\u00e8gle, ne pas faire de mal aux humains, les ing\u00e9nieurs qui con\u00e7oivent les robots devraient \u00e9viter de r\u00e9aliser des robots potentiellement pr\u00e9dateurs, susceptibles de faire des victimes et provoquer des d\u00e9g\u00e2ts. Mais toute technologie est dans ce cas. Il n’y a pas plus pr\u00e9dateur que l’automobile aujourd’hui. Il est donc demand\u00e9 aux concepteurs de robots de pr\u00e9voir des dispositifs, c\u00e2bl\u00e9s dans le corps du robot ou intervenant sur ordre de programmes sp\u00e9cifiques, capables de d\u00e9sactiver le robot en cas de comportements dangereux. Nous \u00e9voquons ici par ce terme des comportements dangereux non voulus par les humains travaillant avec le robot. Il est bien \u00e9vident que si un robot militaire tue par erreur des civils dans le cadre de missions assign\u00e9es par le commandement, ce ne sera pas le robot qui devra \u00eatre bl\u00e2m\u00e9. Ce sera le commandement qui avait command\u00e9 la mission tout en connaissant pertinemment le risque de destructions collat\u00e9rales. Le risque dont il faut se pr\u00e9munir, en ce cas, est celui d’un robot dont les fonctions de contr\u00f4le interne se d\u00e9sactiveraient ou s’affoleraient, ce qui pourrait le conduire \u00e0 sortir des limites pr\u00e9vues par le constructeur et l’utilisateur, pour s’adonner \u00e0 des conduites dangereuses, al\u00e9atoires ou cibl\u00e9es. <\/p>\n<\/p>\n
\tEn quoi dans ce cas le robot pose-t-il un probl\u00e8me particulier? Toutes les machines complexes peuvent \u00e0 un moment ou un autre se d\u00e9sorganiser, entra\u00eenant des catastrophes. On l’a vu \u00e0 l’occasion de la perte en 2009 du vol Air France Rio-Paris, dont les causes restent inconnues mais qui sont probablement imputables \u00e0 des d\u00e9faillances du syst\u00e8me de contr\u00f4le. Pour s’en pr\u00e9munir, les ing\u00e9nieurs multiplient ce que l’on nomme les redondances, c’est-\u00e0-dire les commandes de secours. Pourquoi ne pas faire de m\u00eame, \u00e0 propos des robots? On peut tr\u00e8s bien l’\u00e9quiper d’instructions qui le d\u00e9connecteraient au cas o\u00f9 son comportement le ferait entrer dans des zones rouges, c’est-\u00e0-dire des zones o\u00f9 il deviendrait potentiellement dangereux, pour lui-m\u00eame et pour les autres. <\/p>\n<\/p>\n
\tC’est bien \u00e9videmment ce que font les ing\u00e9nieurs. Les cahiers des charges visant la r\u00e9alisation des robots modernes, qu’ils soient militaires ou civils, comportent de telles clauses. Mais, disent les esprits inquiets, que se passera-t-il si le robot, devenu suffisamment intelligent, trouve moyen de d\u00e9sactiver lui-m\u00eame les commandes lui fixant des barri\u00e8res \u00e0 ne pas franchir. Asimov n’avait pas cru devoir \u00e9voquer s\u00e9rieusement cette possibilit\u00e9, car de son temps, l’hypoth\u00e8se d’un robot pleinement intelligent et conscient capable de se dresser contre les humains en \u00e9chappant aux r\u00e8gles morales qui lui auraient \u00e9t\u00e9 impos\u00e9es relevait d’un niveau sup\u00e9rieur de science-fiction qu’il n’avait pas abord\u00e9. Aujourd’hui, la perspective m\u00e9rite de l’\u00eatre. La robotique n’est pas encore capable de produire des robots pleinement autonomes, leur autonomie s’exer\u00e7ant, comme nous l’avons indiqu\u00e9 plus haut, dans le cadre de contraintes fix\u00e9es \u00e0 l’avance et suppos\u00e9es \u00eatre ind\u00e9passables. Mais les robots et leur environnement deviendront rapidement si complexes qu’il sera difficile de pr\u00e9voir ce qui leur passera, si l’on peut dire, par la t\u00eate. <\/p>\n<\/p>\n
\tUn robot peut devenir dangereux sans \u00eatre devenu v\u00e9ritablement m\u00e9chant, ou malicieux au sens am\u00e9ricain, termes incluant la r\u00e9f\u00e9rence \u00e0 des valeurs morales quasi religieuses transcendant la technologie. Comme il est constitu\u00e9 de nombreux composants qui \u00e9voluent sans cesse et de fa\u00e7on plus ou moins al\u00e9atoire, notamment au niveau des interaction entre les agents logiciels qui commandent son comportement, il peut parfaitement muter, au sens propre du terme, c’est-\u00e0-dire prendre la forme d’une version impr\u00e9vue par les concepteurs et les utilisateurs humains. Certaines de ces nouvelles versions pourraient se r\u00e9v\u00e9ler utiles \u00e0 ses missions initiales et donc bienvenues. Ainsi il pourrait am\u00e9liorer spontan\u00e9ment tel ou tel de ses programmes afin de fonctionner sur un mode plus \u00e9conome en \u00e9nergie. Mais \u00e0 l’inverse, une mutation pourrait le rendre, non seulement dangereux, mais capable de d\u00e9sactiver durablement les contraintes internes fix\u00e9es \u00e0 son comportement et destin\u00e9es \u00e0 limiter sa dangerosit\u00e9. <\/p>\n<\/p>\n
\tQue se passerait-il alors? Il faut bien se persuader que les robots ne sont (ou ne seront) pas tr\u00e8s diff\u00e9rents de tous les autres organismes \u00e9volutionnaires apparus sur Terre depuis les premiers pas de la vie. Ces organismes mutent sans cesse, sans pr\u00e9occupations morales a priori. Les nouvelles versions d’organismes r\u00e9sultant de ces mutations se heurtent \u00e0 un univers d\u00e9j\u00e0 constitu\u00e9, qui leur impose ce que l’on nomme en \u00e9volution des barri\u00e8res s\u00e9lectives. Ou bien les mutants se r\u00e9v\u00e8lent plus efficaces que leurs pr\u00e9d\u00e9cesseurs et peuvent \u00e9chapper aux barri\u00e8res s\u00e9lectives. En ce cas ils survivent et donnent naissance \u00e0 de nouvelles lign\u00e9es. Ou bien au contraire ile ne le peuvent pas et disparaissent, rejoignant l’immense cimeti\u00e8re des inventions fussent-elles g\u00e9niales mais rejet\u00e9es par le milieu. <\/p>\n<\/p>\n
\tTr\u00e8s bien direz-vous. Nous voici rassur\u00e9s. Comme ce sont des humains qui fixent les barri\u00e8res s\u00e9lectives, il suffirait ainsi que le demandait Asimov, qu’ils provoquent l’\u00e9limination de tous les \u00e9ventuels robots mutants susceptibles de devenir dangereux. Les humains auront donc toujours affaire \u00e0 des populations de robots domestiques, aussi inoffensifs pour eux que le sont devenus les animaux ex-sauvages domestiqu\u00e9s depuis plusieurs mill\u00e9naires. <\/p>\n<\/p>\n
\tNous pensons pour notre part que s’imaginer que les humains veulent ou m\u00eame peuvent contr\u00f4ler les machines, robotis\u00e9es ou non, qu’ils fabriquent depuis quelques si\u00e8cles rel\u00e8ve de ce que nous appelons une illusion humaniste. C’est oublier le fait que les humains et leurs technologies se d\u00e9veloppent d’une fa\u00e7on quasi symbiotique, dans le cadre d’\u00e9changes entre caract\u00e8res fondateurs qui en font de nouvelles esp\u00e8ces mutantes, entrant en comp\u00e9tition darwinienne les unes avec les autres. (1) Ceci a \u00e9t\u00e9 dit depuis quelques temps \u00e0 propos de l’automobile ou des ordinateurs. Les usagers et \u00e0 plus forte raison les concepteurs et constructeurs de ces machines ne sont pas capables, quoi qu’ils pr\u00e9tendent, d’orienter leur d\u00e9veloppement \u00e0 partir de d\u00e9cisions rationnelles qu’ils s’estiment capables de prendre. Depuis des ann\u00e9es, on a voulu limiter la dangerosit\u00e9 des voitures. Certains r\u00e9sultats ont \u00e9t\u00e9 obtenus, mais le pr\u00e9l\u00e8vement en vies humaines ne cesse de cro\u00eetre, du simple fait de l’extension quasi virale du nombre de ceux que nous pourrions appeler des homo-automobilis<\/em>. Si la croissance de ce nombre s’arr\u00eatait, ce ne serait pas du fait de la volont\u00e9 des humains, mais parce que des limites physiques emp\u00eacheraient d\u00e9sormais leur prolif\u00e9ration, manque d’espace, manque de carburant ou de mati\u00e8res premi\u00e8res. <\/p>\n<\/p>\n \tLes ordinateurs et produits \u00e9lectroniques divers ne sont pas aussi dangereux que les automobiles, mais dans certains cas, ils peuvent le devenir. C’est le cas du t\u00e9l\u00e9phone au volant et de la consultation des \u00e9crans multiples que les constructeurs veulent ins\u00e9rer sur les tableaux de bord, soi-disant pour am\u00e9liorer la s\u00e9curit\u00e9 et le confort de conduite, en fait pour faire du profit et, plus en profondeur, contribuer \u00e0 des mutations favorables \u00e0 la diss\u00e9mination de l’esp\u00e8ce automobile + homo-automobilis<\/em>. Les autorit\u00e9s r\u00e9glementaires qui \u00e9taient intervenues, sans grand succ\u00e8s, pour limiter le t\u00e9l\u00e9phone au volant auront beaucoup de souci \u00e0 se faire, car le poids des lobbies conjugu\u00e9s de l’automobile et de l’\u00e9lectronique n’emp\u00eachera pas la prolif\u00e9ration de l’internet au volant. Les accidents se poursuivront donc, dans l’indiff\u00e9rence g\u00e9n\u00e9rale. <\/p>\n<\/p>\n \tPeut-on transposer cette r\u00e9flexion \u00e0 l’avenir des robots et des hommes qui d’une fa\u00e7on ou d’une autre, s’associeront \u00e0 leur d\u00e9veloppement? Certainement. Plus encore que les automobiles et autres machines faiblement intelligentes, les robots disposent, par d\u00e9finition, de consid\u00e9rables capacit\u00e9s d’adaptation aux humains. Nous avons rapidement \u00e9voqu\u00e9 ce point en d\u00e9crivant l’avenir de la robotique domestique ou conviviale. De m\u00eame qu’un propri\u00e9taire de chien choisit celui-ci et l’\u00e9l\u00e8ve en fonction de son caract\u00e8re, \u00e0 lui propri\u00e9taire, faisant de l’animal un agneau sympathique ou une b\u00eate fauve, de m\u00eame proc\u00e9dera le propri\u00e9taire ou l’utilisateur d’un robot domestique. Mais de m\u00eame que dans le couple homme-chien, ce n’est pas seulement l’homme qui d\u00e9teint sur le chien mais le chien qui d\u00e9teint sur l’homme, de m\u00eame dans le couple homme-robot les caract\u00e8res s’\u00e9changeront tr\u00e8s vite. Ils ne le feront pas d’une fa\u00e7on statique, puisque l’homme et le robot sont deux entit\u00e9s \u00e9volutionnaires. Ils le feront d’une fa\u00e7on dynamique. Autrement dit, l’homme et le robot d\u00e9velopperont par interaction des d\u00e9terminismes \u00e9volutifs communs ou corr\u00e9l\u00e9s. Chez l’homme, ce sera un certain type d’organisation du cerveau ou de l’ordre cellulaire, pouvant se r\u00e9percuter \u00e0 certains niveaux du g\u00e9nome. Chez le robot, il s’agira de r\u00e9organisations principalement logicielles se transmettant par r\u00e9seaux. L’humain dans ce cas pensera sans doute qu’il restera ma\u00eetre du sens pris par l’\u00e9volution globale du couple, mais ce sera une illusion. <\/p>\n<\/p>\n \tLes moralistes s’indigneront. Que restera-t-il de l’humain dans ce que vous d\u00e9crivez? Il restera, pour prendre une image de plus en plus utilis\u00e9e, du post-humain. Mais ce post-humain sera-t-il bon ou sera-t-il mauvais? Les deux, mon capitaine. Plus exactement il sera ce que sa confrontation avec un environnement de plus en plus impr\u00e9visible, du fait du d\u00e9veloppement exponentiel des technologies et de leurs usages, lui permettra de devenir. Bien malin qui pourrait aujourd’hui le pr\u00e9voir.<\/p>\n<\/p>\n \n Jean-Paul Baquiast<\/p>\n<\/p>\n \twww.automates-intelligents.com<\/a><\/p>\n<\/p>\n