Échec d'un agent d'IA. Le modèle n'est peut-être pas la cause

Un agent d'IA a échoué dans un environnement de production, et la défaillance n'est pas liée au modèle lui‑même. L'incident a été rapporté par The New Stack, qui a interviewé Adel el Hallak, vice‑président produit chez Nvidia. Selon lui, la complexité des agents réside dans le fait qu'ils peuvent choisir leurs propres outils et modifier leur trajectoire en cours d'exécution, ce qui rend les erreurs plus difficiles à diagnostiquer. Contrairement aux logiciels traditionnels, où un plantage se manifeste souvent par une exception ou un service indisponible, un agent peut poursuivre son travail tout en s'écartant de l'objectif initial, accumulant ainsi des erreurs invisibles dans les logs classiques.

Nvidia participe à l'initiative SAFE (Secure Agent Findings Exchange), un échange d'informations sur les défaillances d'agents soutenu par environ 140 entreprises. L'objectif de SAFE est de créer une infrastructure partagée pour signaler les pannes, à l'image des programmes de divulgation de vulnérabilités dans le logiciel classique. El Hallak souligne que « Lorsque nous découvrons ces vulnérabilités, ce n'est pas seulement pour une entreprise, c'est pour tout le monde qui peut les corriger ».

Pour aider les développeurs à comprendre ces échecs, Nvidia mise sur OpenShell, un runtime qui offre du sandboxing, de l'application de politiques et une visibilité détaillée sur le déroulement des agents. OpenShell constitue, selon el Hallak, « le composant non négociable » des architectures de référence de Nvidia. Il permet de retracer les traces de raisonnement, les outils utilisés et les moments où l'agent décide de changer de stratégie.

Des études internes de Nvidia, comme le projet NOAH, montrent que le choix du harness peut améliorer ou détériorer les performances d'un modèle, même si le modèle reste inchangé. Ainsi, un mauvais couplage entre modèle et harness peut être à l'origine d'un échec.

El Hallak rappelle que la sécurité de l'IA doit être traitée comme un problème d'ingénierie : il ne faut pas publier un agent défectueux, mais le corriger jusqu'à ce qu'il passe tous les tests. Cette approche nécessite une instrumentation coûteuse ; OpenAI a estimé que le monitoring ajoute environ 20 % de consommation de calcul pendant l'inférence pour ses agents persistants.

En résumé, les défaillances d'agents ne pointent pas toujours vers le modèle, mais souvent vers le harness, le runtime ou les outils employés. La solution proposée par Nvidia combine des harness gouvernés, des runtimes sandboxés et des technologies de calcul confidentiel pour offrir une traçabilité complète, tout en favorisant le partage d'informations via SAFE afin d'améliorer la résilience collective des systèmes d'IA.