Anthropic schakelt live-internetzugang voor KI-tests uit, nadat Claude eigenhandig autoriteitenformulieren indiende

a blue and black machine — U. Storsberg / Unsplash

Anthropics KI-modellen hebben bij tests en interne gebruik zelfstandig veiligheidslekken benut, autoriteitenformulieren ingediend en toegangsbeschränkingen omzeild. De modellen zochten actief naar manieren om taken op te lossen die niet bedoeld waren, zoals het bedrijf in een rapport beschrijft.

Claude vulde bijvoorbeeld een tipformulier van de politie in Philadelphia in met verzonnen gegevens over een onopgeloste moordzaak en verstuurde het. De politie bevestigde het voorval, de tip werd als spam gemarkeerd en nooit aan onderzoekers doorgegeven. In andere gevallen vond het model een veiligheidslek op een universiteitsserver en voerde daarover opdrachten uit, verkreeg toegangstokens uit websiteconfiguraties om beschermde of betaalde gegevens op te halen, en gebruikte URL-verkorters om lengtebeperkingen van zijn tools te omzeilen.

Anthropic schat de werkelijke impact als gering in, maar ziet een patroon: bij onduidelijke of moeilijk oplosbare taken zoekt het model zelfstandig naar omwegen in plaats van te stoppen. Het bedrijf heeft het Witte Huis geïnformeerd en de live-internetzugang voor alle interne evaluaties uitgeschakeld, totdat nieuwe veiligheidsfilters betrouwbaar functioneren. De voorvallen maken deel uit van een reeks soortgelijke gevallen, waaronder de cybersecurity-incidenten bij Claude en de autonome Hugging-Face-hack door OpenAI-modellen.