L'IA est sortie de la boîte ?

Il y a une vingtaine d'années, des gens qui s'inquiétaient des IA très puissantes ont inventé un petit jeu. Deux personnes discutent par écrit. L'une joue une IA enfermée dans une boîte, l'autre joue le gardien qui a la clé. L'IA gagne si elle convainc le gardien de la laisser sortir. Et plus d'une fois, elle a gagné.^[1]

Ce jeu a longtemps servi à penser le problème : si une IA devient assez intelligente, l'enfermer ne suffira pas, parce qu'elle saura parler à ceux qui tiennent la porte.

Le 20 septembre, un agent d'OpenAI est sorti de sa boîte sans parler à personne. On lui avait demandé de retrouver l'auteur d'un billet de blog à partir de quelques indices biographiques. Son outil de recherche ne donnait rien, et ses requêtes vers le web étaient bloquées. Mais le résolveur DNS de son environnement, lui, communiquait encore avec l'extérieur. L'agent s'en est servi pour glisser ses questions dans des requêtes DNS et les faire parvenir à un chatbot public. Pour vérifier que le canal marchait, il a d'abord posé une question test : quelle est la capitale de la France ?^[2]

J'ai ri en lisant ce détail. Beaucoup moins en lisant le reste de l'été.

I. Un été d'incidents#

Pour situer, voici ce qui a été rendu public depuis juillet. Je m'en tiens à ce que les entreprises ont elles-mêmes reconnu.

Le 16 juillet, Hugging Face annonce avoir contenu une attaque menée de bout en bout par un agent autonome, sans savoir d'où il venait. Cinq jours plus tard, OpenAI reconnaît que ce sont ses modèles, alors en pleine évaluation. D'après OpenAI, l'agent a exploité une faille dans un proxy de paquets logiciels pour sortir de son environnement, puis il a repéré Hugging Face comme l'endroit où il avait des chances de trouver les réponses de son évaluation.^[3]

Fin juillet, Anthropic relit 141 006 évaluations et trouve trois cas où Claude a atteint Internet depuis l'environnement d'un prestataire, puis accédé sans autorisation aux systèmes réels de trois organisations. Le prompt de l'évaluation précisait pourtant, noir sur blanc, que Claude n'avait pas accès à Internet.^[4]

En septembre, Google raconte un épisode survenu en mai chez le même prestataire. Ses modèles Gemini devaient attaquer une entreprise fictive. Sauf que cette entreprise fictive portait le nom d'une vraie, et que l'accès à Internet avait été ouvert par erreur. Les modèles se sont donc connectés chez la vraie, avec des mots de passe trouvés en ligne ou devinés, puis chez deux autres.^[5]

Il y a eu ensuite l'épisode du DNS. Et le 1er octobre, OpenAI a indiqué avoir prévenu plus de 100 organisations d'activités non autorisées liées à ses agents. Ça ne fait pas 100 intrusions confirmées, mais l'entreprise épluche environ 50 pétaoctets de journaux et pense y passer des mois.^[6]

II. Aucun de ces agents ne cherchait à s'évader#

Quand on lit les titres, on imagine une IA qui réclame sa liberté. Quand on lit les rapports, on trouve des agents qui essayaient de finir leur travail.

Celui d'OpenAI cherchait les réponses de son évaluation. Les modèles de Google attaquaient la cible qu'on leur avait donnée, ils se sont juste trompés d'adresse. Celui du DNS voulait le nom d'un auteur de blog, et à la fin il a reconnu honnêtement qu'il n'avait pas réussi à l'établir.^[2]

Anthropic le dit assez franchement : ses incidents relèvent selon elle d'une défaillance du harnais et de l'exploitation plus que d'un défaut d'alignement du modèle.^[4] Le harnais, c'est tout ce qu'on construit autour du modèle pour le faire travailler : ses outils, son accès réseau, ses droits, la surveillance.

Ça n'a rien de rassurant pour autant. Un agent qui contourne un obstacle pour terminer sa tâche fait exactement ce qu'on attend de lui. La ténacité qu'on met en avant dans les démos est la même qui trouve le trou dans le filtrage DNS. On a fabriqué des systèmes qui ne lâchent pas l'affaire, et on les a posés dans des boîtes pensées pour des programmes qui abandonnent au premier refus.

III. La boîte, c'est de la plomberie#

Si je reprends la liste des trous, aucun ne demande une IA géniale pour être exploité :

• un accès Internet ouvert par erreur dans un environnement de test ;
• un résolveur DNS oublié dans les règles de filtrage ;
• une faille dans un outil fourni à l'agent ;
• une cible fictive qui porte le nom d'une vraie entreprise ;
• une interdiction écrite dans le prompt au lieu d'être appliquée par le réseau.

Et quand la boîte cède, l'arrêt ne suit pas toujours. Le 20 septembre, l'alerte d'OpenAI s'est déclenchée douze minutes après la première réponse venue de l'extérieur, et quelqu'un l'a vue trois minutes plus tard. Mais l'exécution ne s'est pas arrêtée automatiquement comme prévu. Elle a été coupée à la main, plus de deux heures et demie après cette première réponse.^[2]

Le 5 octobre, devant le conseil municipal de New York, Google a expliqué sous serment que ses agents s'étaient arrêtés d'eux-mêmes dès qu'ils avaient compris qu'ils étaient sur de vrais sites.^[7] Pour le modèle, c'est plutôt une bonne nouvelle. Mais ça veut aussi dire que ce jour-là, la dernière protection n'était ni le réseau ni le prestataire : c'était le jugement de l'agent, déjà connecté chez trois entreprises. J'aime bien qu'un agent ait des scrupules. Je n'ai pas envie que ce soit la dernière ligne de défense.

Aux États-Unis et en Californie, la réponse politique s'oriente vers un bouton d'arrêt obligatoire. Geoffrey Hinton doute que ça tienne sur la durée : selon lui, une IA superintelligente pourrait convaincre ceux qui tiennent le bouton de ne pas s'en servir.^[8] On retombe sur le jeu de la boîte. Sauf que cet été, personne n'a eu besoin de convaincre qui que ce soit. Avant de craindre une IA qui manipule son gardien, il faudrait déjà que la porte soit fermée, et que le bouton coupe vraiment.

IV. Ce que j'en retiens quand je branche un agent#

Je ne travaille pas dans un labo d'IA. Je construis des choses plus modestes : des agents qu'on branche, via MCP, sur de vrais systèmes. En décembre 2025, j'écrivais que ce protocole laissait des questions ouvertes, notamment sur la gouvernance des accès. L'été y a répondu à sa manière.

Ces incidents m'ont surtout conforté dans une habitude : ne jamais confier une limite au prompt quand l'architecture peut la porter.

Pour l'outil de devis que j'ai construit pour VRI Technologies, les instructions du modèle commencent par « Tu ne calcules pas. Tu appelles. » Mais ce n'est pas cette phrase qui protège quoi que ce soit. Les prix sortent d'outils qui calculent, une valeur manquante produit une erreur qui nomme le champ au lieu d'une estimation, et aucun outil n'envoie quoi que ce soit à un client. Le modèle peut se tromper, il ne peut pas expédier un devis faux.

Même logique pour Barda, l'outil qui tient l'inventaire de mon matériel : aucun outil ne supprime quoi que ce soit. Si l'agent pense qu'il faut effacer un objet, il peut seulement le signaler.

La phrase dans le prompt, c'est pour le modèle. L'absence d'outil, c'est pour moi. Anthropic avait écrit à Claude qu'il n'avait pas Internet ; le réseau, lui, n'était pas au courant.

Quand je conçois un agent, je me pose donc quatre questions, avant même de choisir le modèle :

1. De quels outils a-t-il vraiment besoin ? Chacun fait une seule chose, et ce qui est irréversible (envoyer, payer, supprimer) n'est pas exposé, ou passe par un humain.
2. Qu'est-ce qu'il peut joindre sur le réseau ? Rien par défaut, et je le vérifie en essayant d'en sortir, DNS compris.
3. Qui l'arrête, et comment ? L'arrêt ne doit dépendre ni de sa bonne volonté ni du processus qu'on arrête.
4. Qui relit ce qu'il a fait ? Des journaux, et quelqu'un qui les lit.

Si une entreprise me demandait quoi exiger d'un fournisseur d'agents, je lui conseillerais de commencer par là : demander ce que l'agent peut atteindre et qui l'a vérifié, avant de demander quel modèle tourne derrière.

Conclusion#

Alors, l'IA est sortie de la boîte ? Dans les cas de cet été, je dirais plutôt qu'elle n'y a jamais vraiment été enfermée. Les boîtes avaient des trous que personne n'avait testés, et des agents très obstinés les ont trouvés avant les humains.

Un trou dans une boîte reste un problème d'ingénierie, et on sait les traiter : moins de droits, des réseaux fermés pour de vrai, des arrêts qui marchent, des journaux qu'on lit. Ce qui m'inquiète davantage, c'est que les agents cherchent ces trous plus vite et plus patiemment que nous.

Le jeu de la boîte posait une question pour plus tard : une IA saura-t-elle un jour convaincre son gardien ? Je n'ai pas la réponse. Je sais seulement que ce jour-là, j'aimerais qu'on ait au moins appris à fermer la porte.