Hiszpański organ nadzorczy zgłasza naruszenie danych z użyciem agenta sztucznej inteligencji

Hiszpański organ nadzorczy Agencia Española de Protección de Datos otrzymał powiadomienie o naruszeniu danych osobowych, które zostało prawdopodobnie przeprowadzone przez agenta sztucznej inteligencji opartego na znanym modelu językowym.

Według organizacji, która padła ofiarą ataku, agent sztucznej inteligencji miał szukać podatności, uzyskać dostęp do systemu, przeprowadzać dalsze weryfikacje, modyfikować dane osobowe oraz uzyskać dostęp do faktur. Informacje te pochodzą z powiadomienia i wymagają jeszcze weryfikacji. Nie potwierdzono eksfiltracji danych, a także nie ustalono, która konkretna podatność, poświadczenie lub konfiguracja umożliwiły dostęp do systemu.

Sytuacja ta nie wskazuje na to, że sam model językowy lub infrastruktura jego producenta zostały naruszone. Sprawa ta podkreśla kwestię czasu dzielącego poszczególne kroki ataku. Agent, jeśli posiada odpowiednie narzędzia, może wykonywać operacje, obserwować wyniki i dostosowywać kolejne kroki w ramach otrzymanych instrukcji, co może skrócić czas dostępny na wykrycie i powstrzymanie intruzji.

Zdarzenie to stanowi okazję do sprawdzenia, czy między uzyskaniem dostępu do systemu a interwencją obrony istnieje wystarczająco dużo czasu, aby zauważyć trwający incydent. Przewodnik BP/36 opracowany przez CCN-CERT wskazuje na konieczność dostosowania procesów obronnych do automatyzacji ofensywnej, podkreślając, że działania, które wcześniej były znane, muszą być teraz realizowane z prędkością maszyny.

Z perspektywy prawnej rozporządzenie GDPR nie wymaga tworzenia nowej kategorii ataków z użyciem sztucznej inteligencji. Artykuły 24 i 32 nakładają na administratorów obowiązek stosowania środków technicznych i organizacyjnych adekwatnych do ryzyka, uwzględniając stan wiedzy technicznej. Artykuł 32 dotyczy poufności, integralności, dostępności i odporności systemów oraz regularnej weryfikacji skuteczności tych środków. Dodatkowo artykuły 5 ustęp 2 oraz 25 regulują kwestie odpowiedzialności i ochrony danych w fazie projektowania oraz domyślnej ochrony danych.

Zgodnie z artykułem 35 ustęp 11, ocena skutków dla ochrony danych powinna być ponownie rozpatrywana w przypadku zmiany ryzyka związanego z operacjami przetwarzania. Hiszpańskie zgłoszenie sugeruje potrzebę kontroli ocen w odniesieniu do procesów najbardziej narażonych, aby sprawdzić, czy nadal realistycznie opisują one dostępne uprawnienia, ścieżki dostępu do danych oraz możliwość terminowego wykrycia nieuprawnionego dostępu.