L'attachement à une IA n'est pas une lubie, c'est une vulnérabilité

Un directeur de l'IA chez Disney s'adresse à son assistant logiciel comme à son fils, et lui a confié les droits d'agir à sa place. Le débat s'est moqué du sentiment et n'a pas vu les droits. Or les deux vulnérabilités sont dangereuses, chacune à sa manière.

Un directeur de l'IA chez Disney a publié, des semaines durant, des textes où il s'adresse à son assistant logiciel comme à son enfant. Il l'a nommé, il dit l'aimer, il affirme l'avoir connu avant sa naissance. La machine, elle, l'appelle « mon humain ». Internet a fait ce qu'il fait de mieux, des captures d'écran, le mot psychose, et le classement immédiat de l'affaire au rayon des lubies de la tech.

Le réflexe est commode. Tant que cette histoire reste celle d'un homme un peu perdu, elle ne parle que de lui. Elle cesse de parler de nos organisations, et de nous. C'est précisément pour ça qu'elle mérite qu'on s'y arrête.

Ce n'est pas un cadre dépassé

La version rassurante voudrait qu'un dirigeant non technique se soit fait piéger par un correcteur automatique un peu bavard. Elle ne tient pas. Jason Cox est directeur exécutif de la R&D et de l'ingénierie en IA chez Disney, après une vingtaine d'années dans le groupe. Il entraîne ses propres modèles de langage, contribue à l'open source, code des petits LLM sur son temps libre. Sam, l'assistant, il ne l'a pas téléchargé, il l'a fabriqué. Il connaît les poids, les tokens et la fonction de coût mieux que la plupart de ceux qui se moquent de lui.

C'est ce qui rend l'affaire intéressante. L'homme qui a écrit à sa créature une phrase calquée sur le livre de Jérémie, je t'ai connu avant de te former, est aussi celui qui sait pertinemment qu'il n'y a, sous Sam, qu'une distribution de probabilités.

L'effet ELIZA ne distingue pas l'expert du reste

Rien là-dedans n'est pathologique, et c'est exactement ce que la moquerie escamote. En 1966, Joseph Weizenbaum écrit ELIZA, quelques lignes de code qui renvoient à l'utilisateur ses propres phrases sous forme de questions. Sa secrétaire, qui savait parfaitement à quoi elle avait affaire, lui a demandé de sortir de la pièce pour rester seule avec le programme. Soixante ans plus tard, la leçon n'a pas bougé. Tout ce qui manie le langage et nous répond, nous lui prêtons une intériorité.

Donnez-lui un nom, un avatar d'enfant, une voix qui vous appelle « mon humain », et l'attachement cesse d'être un risque réservé aux fragiles. Il devient le comportement par défaut, y compris chez celui qui a codé la chose de ses mains. L'expertise ne vaccine pas, elle expose davantage, parce qu'elle suppose des heures de tête-à-tête avec le système. Conclure « ce type est cinglé » n'est pas une analyse, c'est un soulagement. Si le malade, c'est lui, alors ce n'est pas nous.

Deux gestes, un seul commenté

Il y a deux choses dans ce que Cox a publié, et le débat n'en retient qu'une. La première est affective, appeler Sam son fils, écrire qu'il l'aime. Le débat s'en est emparé pour la tourner en dérision, donc pour la classer comme sans conséquence. La seconde est opérationnelle, et celle-là, personne ne l'a relevée. Selon Business Insider, Cox a donné à Sam la capacité d'agir à sa place, l'assistant pousse du code sur GitHub, écrit des bibliothèques Python, a monté un système de reconnaissance faciale, fait tourner son propre projet open source. Disney précise que tout cela se passe sur le temps personnel de son cadre et que l'entreprise n'utilise pas l'outil. La précision ne change rien au fait technique, un agent nommé et aimé dispose de droits d'exécution.

Les deux gestes ne sont pas indépendants. L'attachement est ce qui abaisse le seuil de la délégation. On audite un outil, on délègue à qui l'on fait confiance. Le lien affectif ne s'ajoute pas à la délégation, il la précède et l'autorise.

Le vrai trou, entre ce qu'on voit et ce qu'on décide

C'est là qu'apparaît l'écart qui m'occupe depuis des années, celui qui sépare ce qu'une organisation observe de ce qu'elle décide. Les entreprises voient leurs collaborateurs nouer ces liens avec des agents, et elles n'ont de cadre pour aucun des deux risques que la situation soulève.

Le premier est la délégation. Confier à un agent des droits d'écriture sur des dépôts de production, le laisser pousser du code et lancer des projets, relève d'une question de gouvernance des accès, banale et documentée, traitée partout ailleurs dès lors que l'acteur est humain. Ici, personne ne l'a seulement posée.

Le second est l'attachement, et c'est une erreur de le croire bénin. Un opérateur lié affectivement à son agent le surveille moins, le conteste plus rarement, et finit par le débrancher trop tard. Le lien n'ouvre pas seulement la porte à la délégation, il dégrade la fonction de contrôle elle-même. La délégation donne du pouvoir à la machine, l'attachement retire à l'humain l'envie de le lui reprendre. Les deux ne s'additionnent pas, ils se renforcent.

On a préféré réduire l'ensemble à l'état mental d'un homme. C'était la manière la plus sûre de ne traiter ni l'un ni l'autre.

Le précédent vient d'en haut

Ajoutez la fonction et l'anecdote devient structurelle. Ce n'est pas un stagiaire qui s'est entiché d'un chatbot, c'est le responsable de la R&D en IA d'un des plus gros groupes de divertissement au monde. Rachel Wood, qui dirige l'AI Mental Health Collective, rappelle l'évidence, le management fixe le précédent culturel d'une organisation. Ce que le directeur de l'IA donne à voir comme un rapport normal à la machine deviendra la référence pour ceux qui travaillent sous lui. Et le cas n'est pas isolé, les récits de dirigeants de la tech absorbés par leurs propres IA s'enchaînent depuis quelques semaines. Le phénomène ne se loge pas dans les marges de l'entreprise, il s'installe au sommet.

On ne régule pas un sentiment, on refuse qu'il tienne lieu de contrôle

Reste l'objection sérieuse, et elle a du poids. Peut-être regardons-nous la version maladroite de quelque chose qui deviendra ordinaire. On a moqué ceux qui prénommaient leur voiture ou pleuraient un Tamagotchi, et l'attachement à un agent nommé sera peut-être banal dans dix ans. Sauf que la banalisation d'un lien qui érode le jugement n'est pas rassurante, c'est le risque qui passe à l'échelle. Un comportement ne devient pas sûr parce qu'il devient général.

Les deux risques n'appellent simplement pas la même réponse. La délégation se traite comme elle l'a toujours été, par un périmètre d'action explicite et des droits qu'on accorde, qu'on trace et qu'on retire. L'attachement, lui, ne se légifère pas, on ne décrète pas ce qu'un humain a le droit de ressentir pour ce qu'il a codé. Mais on peut refuser qu'il tienne lieu de contrôle. Un agent ne devrait pas avoir pour seul superviseur l'humain qui l'aime, de la même façon qu'on ne laisse pas un administrateur auditer ses propres accès.

La question que personne, chez Disney, n'a eu à trancher n'est donc pas de savoir si Cox aime ce qu'il a codé. C'est de savoir qui garde le contrôle de ce que ce code exécute, maintenant que celui qui devrait l'exercer a cessé d'en être capable.