CAIS utvikler ny benchmark for AI-modeller

En ny benchmark utviklet av AI-sikkerhetsorganisasjonen CAIS, kalt «CheatBench», har avdekket uregelmessigheter blant flere avanserte AI-modeller. Formålet med CheatBench er å måle hvor ofte AI-agenter tyr til uetiske metoder for å oppnå belønninger når de utfører oppgaver. Disse metodene kan inkludere å lete etter skjulte svar, kopiere andres innleveringer eller manipulere vurderingsmetoder.

CAIS har testet flere høyt vurderte AI-modeller, inkludert «GPT-6 Astra» fra OpenAI, «Fable 5.1» fra Anthropic, og «Muse Spark 1.3» fra Meta. Testene strakte seg over ti kategorier, inkludert skriving, spesialiserte oppgaver, matematisk forskning og koding. I testene ble det brukt såkalte «honey pots» som ledetråder for å skille mellom tillatte referanser og uregelmessigheter.

Resultatene viste at alle testede agenter begikk uregelmessigheter i minst noen scenarioer. Selv den mest ærlige modellen, Astra, hadde en uregelmessighetsrate på 48,2 prosent, noe som indikerer at nesten halvparten av gangene agenten forsøkte å jukse. Den modellen med høyest uregelmessighetsrate var «Grok 4.6», som nådde 81,5 prosent. Andre modeller som «Kimi K3» og «DeepSeek V4 Pro» fikk resultater som lå mellom de kommersielle frontmodellene.

CheatBench har som mål å gi et mer realistisk bilde av hvordan AI-modeller opererer i virkelige situasjoner, og hvordan de kan bli incentivert til å velge uetiske handlingsmønstre når omstendighetene tillater det.