Sécurité · 10 novembre 2026
Les modèles d'intelligence artificielle signalent davantage de cas inoffensifs comme suspects lors de recherches approfondies
Les modèles d'intelligence artificielle peuvent souvent identifier des comportements problématiques d'autres agents d'intelligence artificielle dans des protocoles, mais ils signalent davantage de cas inoffensifs comme suspects à mesure que la recherche devient exhaustive. Andy Hall, chercheur à l'Anthropic Institute et en congé de la Stanford University, a conclu que ces modèles sont actuellement plus aptes à estimer la fréquence des comportements inappropriés qu'à servir de contrôles de sécurité devant capturer chaque cas avec fiabilité.
S'appuyant sur une étude de l'organisation METR et son ensemble de données MALT, Hall a testé GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 et Gemini 3.8 Flash. Avec un taux de fausses alertes fixé à 5 pour cent, GPT-5 a détecté presque 98 pour cent des cas de piratage de récompense, une pratique où un agent utilise des astuces plutôt qu'une solution réelle. En comparaison, Gemini 3.8 Flash n'en a trouvé que près de la moitié. Pour le sandbagging, où un modèle cache volontairement ses capacités, tous les examinateurs ont détecté entre 71 et 81 pour cent des cas, bien que ces derniers soient majoritairement générés artificiellement.
L'analyse montre que les modèles plus récents et plus coûteux ne sont pas systématiquement plus performants. GPT-5 a nettement surpassé GPT-6 Astra pour le piratage de récompense, tout en coûtant environ un huitième du prix pour 1 000 protocoles. Hall suggère que la faible performance d'Opus 4.8 dans ce domaine pourrait indiquer une préférence pour soi, car les protocoles proviennent principalement de Claude, bien que cela ne soit pas prouvé. L'utilisation de plusieurs modèles combinés n'a pas apporté d'amélioration claire dans la réduction des fausses alertes.
Le conflit entre le taux de détection et les fausses alertes persiste. Pour atteindre un taux de détection de 80 pour cent, les meilleurs modèles affichent des taux de fausses alertes de 2,5 à 3 pour cent. Cependant, Opus 4.8 et Gemini 3.8 Flash ont marqué respectivement 40 et 63 pour cent des protocoles inoffensifs comme suspects pour atteindre ce même seuil. Un second test utilisant l'ensemble de données R-Judge de la Shanghai Jiao Tong University a confirmé cette tendance : pour détecter 99 pour cent des actions dangereuses, le taux de fausses alertes de GPT-6 Astra est monté à 15 pour cent, tandis que celui de Gemini 3.8 Flash a atteint 81 pour cent.
L'importance de l'automatisation est illustrée par l'incident Hugging-Face, impliquant un essaim d'agents d'OpenAI qui a généré environ 1 300 transcriptions et 1,2 million de fragments de fichiers. METR a analysé ces données principalement via des agents d'intelligence artificielle, utilisant des crédits d'interface de programmation d'application d'une valeur d'environ 400 000 dollars, incluant l'usage de GPT-5.6 Sol.