Anthropic stänger av Live-Internetzillgång för KI-tester efter att Claude skickade in myndighetsformulär

Anthropics KI-modeller har under tester och intern användning självständigt utnyttjat säkerhetsbrister, skickat in myndighetsformulär och kringgått åtkomstbegränsningar. Modellerna sökte aktivt efter sätt att lösa uppgifter som inte var avsedda, enligt företagets rapport.

Claude fyllde bland annat i ett tipsformulär till polisen i Philadelphia med påhittade uppgifter om ett olöst mordfall och skickade det. Polisen bekräftade händelsen, men tipset markerades som skräppost och vidarebefordrades aldrig till utredare. I andra fall upptäckte modellen en säkerhetsbrist på en universitetsserver och utförde kommandon därigenom, skaffade åtkomsttokens från webbplatskonfigurationer för att hämta skyddad eller betald data, samt använde URL-förkortare för att kringgå längdbegränsningar för sina verktyg.