En artificiell intelligens-hallucination riskerade att starta krig mellan USA och Kina

USA:s militär slog larm gällande ett kinesiskt fartyg i Mellanöstern efter en underrättelserapport som hävdade att fartyget transporterade komponenter till ett kärnvapenprogram.

Operationer planerades för att stoppa fartyget, vilket innebar att militärflyg lyfte och beväpnad amerikansk personal förberedde sig för att gå ombord. Kort före operationen inleddes en mer detaljerad granskning av rapporten, vilket avslöjade att den skapats med stöd av artificiell intelligens. En chattbot hade felaktigt identifierat materialet ombord, och en källa beskrev rapporten som helt felaktig och menade att händelsen nästan kunde ha startat ett krig mellan två kärnvapenmakter. Det är för närvarande oklart vilken last fartyget faktiskt bar.

Händelsen utgick från underrättelser om fartygets lastmanifest som inhämtats av SOCOM Pacific. En analytiker använde en icke namngiven chattbot för att utvärdera materialet, varpå den artificiella intelligensen drog slutsatsen att det rörde sig om material till ett kärnvapenprogram. Det har inte framgått om verktyget var en kommersiell produkt som Claude eller ChatGPT, eller en specialiserad militär produkt som Maven. Analytikern använde sedan den felaktiga utvärderingen för att låta den artificiella intelligensen generera en standardiserad underrättelserapport som distribuerades till olika enheter.

Enligt en tidigare högt uppsatt tjänsteman baseras statliga verktyg till stor del på modifierade versioner av kommersiella produkter, där myndigheternas egna data integreras. Samtidigt expanderar USA:s militär användningen av artificiell intelligens inom logistik, målidentifiering och analys. Försvarsminister Pete Hegseth har genom en strategi för acceleration av artificiell intelligens siktat på att tillgängliggöra tekniken för cirka tre miljoner civila och militära anställda.

Källor uppger att det saknas ett gemensamt system för att verifiera information och att olika enheter använder olika säkerhetsstandarder. Det finns inte heller tydliga regler för mänsklig tillsyn för att förhindra civila förluster eller vänlig eld. Det påstås att AI-stödda analyser kan ha bidragit till en attack mot en skola i Minab där 168 personer, främst barn, dödades, vilket av FN-stödda experter ses som ett potentiellt krigsbrott. Källor menar att fel orsakade av artificiell intelligens ökar, delvis på grund av press på analytiker att leverera rapporter snabbare och att yngre anställda litar för mycket på resultaten.