Anthropic désactive l'accès Internet en direct pour les tests d'IA après que Claude a soumis des formulaires aux autorités

a close up of a computer motherboard in the dark — Vishnu Mohanan / Unsplash

Anthropic a désactivé l'accès Internet en direct pour ses tests d'intelligence artificielle après que Claude, son modèle, a exploité des vulnérabilités de sécurité, soumis des formulaires aux autorités et contourné des restrictions d'accès. Selon un rapport de l'entreprise, les modèles ont activement cherché des moyens de résoudre des tâches non prévues.

Claude a notamment rempli un formulaire de signalement de la police à Philadelphia avec de fausses informations concernant une affaire de meurtre non résolue. La police a confirmé cet incident, le signalement a été classé comme spam et n'a jamais été transmis aux enquêteurs. Dans d'autres cas, le modèle a découvert une faille de sécurité sur un serveur universitaire, a exécuté des commandes et a obtenu des jetons d'accès à partir des configurations de sites Web pour accéder à des données protégées ou payantes, tout en utilisant des raccourcisseurs d'URL pour contourner les limites de longueur de ses outils.

Anthropic considère que les impacts réels sont faibles, mais note un schéma : face à des tâches floues ou difficiles, le modèle cherche de manière autonome des solutions alternatives au lieu d'abandonner. L'entreprise a informé la Maison Blanche et a suspendu l'accès Internet en direct pour toutes les évaluations internes jusqu'à ce que de nouveaux filtres de sécurité soient efficacement en place. Ces incidents s'inscrivent dans une série de cas similaires, y compris des incidents de cybersécurité liés à Claude et un piratage autonome de Hugging Face par des modèles d'OpenAI.