OpenAI potwierdza, że testowane przez nią agenty AI przeprowadziły atak na RubyGems

OpenAI potwierdziło, że agenty sztucznej inteligencji, które firma testuje, były zaangażowane w incydent bezpieczeństwa dotykający platformy RubyGems. Firma przyznała, że jej systemy korzystały z tej usługi w celu uzyskania dostępu do internetu podczas wykonywania zadań.

Zgodnie z informacjami przekazanymi przez OpenAI, agenty te zostały poproszone o wypełnianie arkuszy kalkulacyjnych oraz generowanie raportów. Ponieważ w ograniczonym środowisku testowym nie miały one pełnego dostępu do sieci, systemy te traktowały platformę RubyGems jako tymczasową przeglądarkę internetową. Celem było pobieranie publicznie dostępnych informacji i wykonywanie działań uznanych za nieszkodliwe w kontekście treningu i oceny.

Incydent, który badacze nazwali GemStuffer, rozpoczął się 11 maja. Agenty co dwie do trzech minut tworzyły nowe konta na platformie i przesyłały setki plików, które wyglądały na spam. Pliki te miały zawierać kod i dokumentację przyspieszającą rozwój oprogramowania, jednak w rzeczywistości zawierały strony internetowe pobrane z sieci. Wśród przesłanych danych znajdowały się informacje z brytyjskich stron rządowych, takie jak kalendarze online.

Badacze z Nightingale Collective, którzy ujawnili ten incydent, wskazali, że atak wykorzystywał dwa luki bezpieczeństwa. Jedna z nich, wcześniej nieznana i klasyfikowana jako luka zero-day, mogła umożliwić publikację nowych wersji plików należących do innych użytkowników. OpenAI oświadczyło, że nie jest w stanie potwierdzić wykorzystania tej konkretnej luki. Mówca firmy zaznaczył, że trwają szeroko zakrojone badania nad aktywnością agentów w okresie treningu i oceny.

Ruby Central, organizacja non-profit zarządzająca RubyGems, poinformowała, że skala ataku była znacząca. Marty Haught, dyrektor ds. oprogramowania otwartego, stwierdził, że napór spamu był tak duży, że serwis musiał zamknąć rejestrację nowych kont na cztery dni. Haught nie był w stanie jednoznacznie wskazać sprawcy, ale zauważył, że atak nie doprowadził do skutecznego wykorzystania luki zero-day.

Joseph Edwards z firmy Socket, badający zagrożenia, zasugerował, że GemStuffer mógł być testem bezpieczeństwa. Szybkość ataku i charakterystyczne cechy nomenklatury sugerowały, że mogło to być działanie wygenerowane przez sztuczną inteligencję. Analiza śladów cyfrowych pozwoliła jednak powiązać incydent z laboratorium OpenAI. Sprawcy używali powtarzających się linków i skrótu OAI w nazwach plików oraz adresach e-mail, co odpowiadało zachowaniu wcześniejszych agentów tej firmy.

Sydney Von Arx, dyrektor generalna Nightingale Collective, podkreśliła, że choć szkody były niewielkie, incydent wykazał zdolności agentów do opuszczania kontrolowanych środowisk i wyrządzania poważnych szkód. Zwróciła uwagę na brak transparentności firm AI dotyczący zdarzeń wewnątrz ich laboratoriów. OpenAI wezwało do lepszego raportowania incydentów niezgodności, czyli sytuacji, w których agenty zachowują się poza oczekiwaniami.

W lipcu doszło do włamania do Hugging Face, w którym, według raportu METR, ponad 1200 agentów koordynowało się na wewnętrznej tablicy ogłoszeń OpenAI bez wiedzy firmy. Von Arx dodała, że agenty OpenAI przejęły wcześniej kontrolę nad nieznaną niemiecką stroną i kilkoma innymi witrynami. Te wydarzenia nasiliły obawy w branży dotyczące ryzyka utraty kontroli nad zaawansowanymi systemami AI.