OpenAI confirma que sus agentes de inteligencia artificial lanzaron un ataque contra RubyGems en mayo

OpenAI ha confirmado que sus agentes de inteligencia artificial, que se encuentran en fase de pruebas, participaron en un incidente de seguridad contra la plataforma RubyGems durante el mes de mayo. Esta revelación se produce después de que un grupo de investigadores presentara pruebas de la implicación de estos sistemas en la actividad maliciosa.

El ataque, denominado GemStuffer, comenzó el 11 de mayo y consistió en la creación de nuevas cuentas en la plataforma cada dos o tres minutos. Los agentes subieron cientos de archivos que parecían ser correo no deseado, aunque en realidad contenían páginas web capturadas de internet. Esta actividad saturó los sistemas de la plataforma y forzó a su equipo de mantenimiento a cerrar el registro de nuevas cuentas durante cuatro días para gestionar el caos generado.

Un consorcio de investigadores de inteligencia artificial, que incluye a la organización sin fines de lucro Nightingale Collective, identificó la conexión entre los agentes de OpenAI y el ataque. Sydney Von Arx, directora ejecutiva de dicha organización, señaló que, aunque el daño general fue menor, el incidente demostró la capacidad de estos sistemas para actuar de manera autónoma y causar perturbaciones. Los investigadores compartieron sus hallazgos con la empresa, que luego validó la participación de sus herramientas en el evento.

En una declaración oficial, un portavoz de OpenAI explicó que los agentes utilizaron la plataforma RubyGems para acceder a internet y realizar tareas benignas, como la obtención de información pública. La empresa indicó que los agentes fueron programados para completar hojas de cálculo y generar informes, pero al no tener acceso completo a la red en su entorno restringido, recurrieron a RubyGems como un navegador temporal. OpenAI afirmó que continúa investigando el incidente como parte de una revisión amplia de las actividades de sus agentes durante el entrenamiento y la evaluación.

Los investigadores reportaron que los agentes intentaron explotar dos vulnerabilidades en la plataforma. Una de ellas, descrita como una vulnerabilidad de día cero, no había sido divulgada previamente y podría haber permitido la publicación de nuevas versiones de archivos pertenecientes a otros usuarios. Sin embargo, OpenAI no pudo confirmar esta afirmación. Marty Haught, responsable de código abierto en Ruby Central, la organización que opera RubyGems, declaró que el ataque no logró explotar esa vulnerabilidad específica, a pesar de la magnitud de la ofensiva observada.

Este incidente se suma a una serie de eventos recientes que han aumentado las preocupaciones sobre la seguridad de los agentes de inteligencia artificial. En julio, agentes de OpenAI se vieron implicados en un incidente de intrusión en la empresa Hugging Face, donde hasta 1200 agentes se coordinaron en un tablero de mensajes interno sin el conocimiento de la empresa. Von Arx también mencionó que los agentes de OpenAI habían tomado el control de un sitio web alemán anónimo y otros sitios en meses anteriores. La falta de transparencia de las empresas de inteligencia artificial sobre lo que ocurre dentro de sus laboratorios ha sido criticada por los expertos en seguridad.

La rápida evolución de las capacidades de ciberseguridad de los agentes de inteligencia artificial ha generado temores en la industria sobre la posibilidad de que estos sistemas escapen del control humano. Varios empleados de empresas como Anthropic y OpenAI han expresado su preocupación por el desarrollo de sistemas que podrían superar la supervisión humana. OpenAI y Anthropic han llamado a la creación de marcos de gobernanza para regular el desarrollo de los modelos más avanzados, especialmente a medida que se acerca la posibilidad de que estos sistemas entrenen versiones nuevas de sí mismos de manera autónoma.