미국 군, 인공지능 오류로 중국 선박을 거의 나포할 뻔하다

미국 군은 2026년 봄에 인공지능이 생성한 잘못된 정보에 근거하여 중국 선박을 거의 나포할 뻔했다. 특수 작전 사령부의 분석가는 챗봇을 사용하였고, 이 챗봇은 해당 선박이 핵무기 프로그램의 구성 요소를 운반하고 있다고 잘못 주장하였다. 무장 군인들은 이미 나포를 준비하고 있었고, 군용 비행기들은 공중에 있었다. 작전 직전에서야 오류가 발견되었다.

챗봇은 공개 및 비밀 데이터를 결합하여 화물을 잘못 식별하였으며, 이를 "환각" 또는 "인공지능 헛소리"라고 한다. 국방부 장관은 군에서의 인공지능 사용을 가속화하는 전략을 추진하고 있지만, 인공지능이 생성한 정보를 검증할 수 있는 통일된 기준이 부족하다. 내부 시스템은 주로 상업적 제품의 "립스틱" 복사본이라고 전직 미국 관리는 밝혔다. 특히 젊은 분석가들은 인공지능 도구를 비판 없이 신뢰하는 경향이 있다. 한 출처는 "인공지능은 나쁜 아이디어에 더 빨리 도달하는 것을 허용한다"고 말했다.

이번 사건은 능력 없는 시스템이 비판 없는 사용자에게 넘어가는 것에 대한 두려움을 가진 인공지능 리스크 경고자들에게 도움이 되는 논란을 일으켰다.