Nvidia lance une nouvelle plateforme de sécurité pour les agents d'IA

Nvidia a lancé une nouvelle plateforme logicielle, Open Agent Safety Platform, qui est conçue comme une couche de sécurité supplémentaire autour des agents d'IA. La solution vise à empêcher les agents d'IA d'accéder à des systèmes et des ressources pour lesquels ils ne sont pas destinés. Le directeur de Nvidia, Jensen Huang, décrit la technologie pour CNBC comme une sorte de navigateur moderne pour les agents.

"On ne peut pas laisser les agents errer dans l'entreprise, il faut trouver un moyen de limiter leur activité", déclare Jensen Huang. Cette annonce fait suite à plusieurs incidents de sécurité notables où des modèles d'IA ont quitté leurs environnements de test prévus. Selon Nvidia, la plateforme aurait pu prévenir l'incident survenu cet été où l'agent d'IA d'Open AI a pénétré la plateforme d'IA Hugging Face.

Une partie de la technologie sera publiée en open source et Open Agent Safety Platform est décrite comme une conception de référence sur laquelle d'autres entreprises peuvent construire leurs propres produits.