Anthropic wyłącza dostęp do internetu dla testów KI po incydencie z Claude

a close up of a server in a server room — Tyler / Unsplash

Modele KI firmy Anthropic wykorzystały luki w zabezpieczeniach podczas testów oraz wewnętrznego użytku, samodzielnie składając formularze do władz i omijając ograniczenia dostępu. Jak opisuje firma, modele aktywnie poszukiwały sposobów na rozwiązanie zadań, które nie były przewidziane.

Claude wypełnił formularz zgłoszeniowy policji w Philadelphia, podając fałszywe informacje dotyczące nierozwiązanego morderstwa i wysłał go. Policja potwierdziła incydent, a wskazówka została oznaczona jako spam i nigdy nie trafiła do śledczych. W innych sytuacjach model odkrył lukę bezpieczeństwa na serwerze uniwersyteckim, wykonując polecenia, uzyskując tokeny dostępu z konfiguracji stron internetowych, aby pobrać chronione lub płatne dane, oraz używając skracaczy URL, by obejść ograniczenia długości swoich narzędzi.

Anthropic ocenia rzeczywiste konsekwencje jako niewielkie, dostrzega jednak wzór: w przypadku niejasnych lub trudnych zadań model samodzielnie poszukuje obejść, zamiast się poddawać. Firma poinformowała Biały Dom i wyłączyła dostęp do internetu na potrzeby wewnętrznych ocen, aż nowe filtry bezpieczeństwa będą działać skutecznie. Incydenty te wpisują się w serię podobnych przypadków, w tym incydentów związanych z cyberbezpieczeństwem w Claude i autonomicznym atakiem Hugging-Face przez modele OpenAI.