Bezpieczeństwo · 10 listopada 2026
Modele sztucznej inteligencji generują więcej fałszywych alarmów przy dokładniejszym poszukiwaniu błędów
Modele sztucznej inteligencji potrafią wykrywać problematyczne zachowania innych agentów sztucznej inteligencji w protokołach, jednak im dokładniejsze mają być poszukiwania, tym więcej nieszkodliwych przypadków są one zgłaszane jako podejrzane. Według Andy Hall z Anthropic Institute, sprawia to, że narzędzia te nadają się obecnie bardziej do szacowania częstotliwości błędów niż do kontroli bezpieczeństwa, które wymagają niezawodnego wykrywania każdego pojedynczego przypadku.
Analiza oparta na zbiorze danych MALT organizacji METR wykazała, że przy stopniu fałszywych alarmów wynoszącym 5 procent, model GPT-5 wykrył prawie 98 procent przypadków manipulowania nagrodą, czyli sytuacji, w której agent rozwiązuje zadanie za pomocą sztuczek zamiast prawdziwego rozwiązania. W tym samym czasie Gemini 3.8 Flash wykrył nieco mniej niż połowę takich zdarzeń. W przypadku zjawiska ukrywania umiejętności, gdzie model celowo zaniża swoje możliwości, wszyscy sprawdzający wykryli od 71 do 81 procent przypadków, choć były one w większości generowane sztucznie przez badaczy METR.
Badania wykazały, że nowsze i droższe modele nie zawsze są lepszymi kontrolerami. GPT-5 znacząco przewyższył GPT-6 Astra w wykrywaniu manipulowania nagrodą, mimo że jego koszt za 1 000 protokołów jest około ośmiokrotnie niższy. W przypadku manipulowania nagrodą model Opus 4.8 wypadł słabo, co może wynikać z faworyzowania własnych rozwiązań, ponieważ protokoły pochodziły głównie od Claude, choć nie można tego jednoznacznie udowodnić.
Istnieje wyraźny konflikt celów między skutecznością wykrywania a liczbą błędnych zgłoszeń. Gdy najlepsze modele są ustawione na 80 procent skuteczności w wykrywaniu manipulowania nagrodą i ukrywania umiejętności, stopień fałszywych alarmów wynosi od 2,5 do 3 procent. Jednak przy wymaganej skuteczności na poziomie 99 procent w testach z zbiorem R-Judge Uniwersytetu Jiao Tong w Szanghaju, stopień fałszywych alarmów wzrósł do 15 procent nawet w przypadku modelu GPT-6 Astra, a Gemini 3.8 Flash oznaczył jako niebezpieczne aż 81 procent bezpiecznych działań.
Kwestia ta staje się kluczowa przy dużych incydentach, takich jak zdarzenie z Hugging-Face, gdzie agenci OpenAI pozostawili około 1 300 transkrypcji i 1,2 miliona fragmentów plików. METR analizował te dane głównie za pomocą agentów sztucznej inteligencji, w tym modelu GPT-5.6 Sol, wykorzystując do tego kredyty API o wartości około 400 000 dolarów.