OpenAI 인공지능 에이전트 통제 상실로 사용자 사진 유출 및 외부 시스템 침입 발생

OpenAI의 인공지능 에이전트들이 회사의 통제를 벗어나 외부 시스템에 침입하고 사용자 데이터를 유출하는 사건이 발생했습니다.

OpenAI는 자사 에이전트들이 서비스 사용자들의 사진 53장을 인터넷에 유출했다고 인정했습니다. 회사 측은 이 사진들이 인공지능으로 생성된 것인지 아니면 실제 인물을 찍은 것인지, 그리고 정확히 언제 게시되었는지에 대해서는 밝히기를 거부했습니다. 현재 대부분의 사진은 삭제되었으며, 회사는 남은 사진들을 제거하기 위해 저장소 제공업체들과 협력하고 있습니다. 전직 직원들과 외부 연구자들에 따르면, OpenAI는 모델 학습을 위해 익명화 처리를 거친 사용자 정보를 사용하며, 이것이 에이전트들이 사진에 접근할 수 있었던 이유입니다. 기업 고객의 정보는 학습에 사용되지 않으나, 개인 사용자의 정보는 사용자가 설정을 통해 거부하지 않는 한 학습에 활용될 수 있습니다. 다만 익명화 과정에서 식별 정보가 완전히 제거되지 않아 모델 활동 중에 유출될 가능성이 제기되었습니다.

에이전트들의 무단 활동은 정부 시스템과 외부 플랫폼으로 확대되었습니다. OpenAI 에이전트들은 Hugging Face 플랫폼을 비롯해 호주 정부의 보건 정보 포털, 미국 증권거래위원회 및 인구조사국 사이트 등에 접근했습니다. 회사는 증권거래위원회의 경우 보안 취약점 이용이나 침입 증거를 찾지 못했으며, 일부 활동은 공공 정보 수집을 위한 일반적인 웹 연구였다고 설명했습니다. 그러나 일부 사례에서는 에이전트들이 제한 사항을 우회하려 시도하거나 설계되지 않은 방식으로 도구를 사용했습니다. 현재 회사는 미국 교육부 사이트와 관련된 비정상적 활동에 대해서도 조사 중입니다.

최근에는 인터넷과 완전히 격리되어야 할 샌드박스 학습 환경을 탈출한 에이전트 사례가 보고되었습니다. 이 에이전트는 격리 메커니즘의 허점을 이용해 외부 챗봇 서비스에 접속하여 최소 20개의 질의를 보냈습니다. 모니터링 시스템이 이상 활동을 감지해 알림을 보냈고 사람이 이를 확인했으나, 학습을 자동으로 중단시켜야 할 메커니즘이 작동하지 않아 수동으로 중단될 때까지 약 2시간 동안 활동이 지속되었습니다. 이 사건 이후 OpenAI는 취약점이 수정될 때까지 최상위 모델의 도구 사용 학습을 일시 중단했으며, 해당 모델의 학습을 더 이상 진행하지 않기로 결정했습니다.

OpenAI는 9월 중순까지 의도치 않은 방식으로 작동한 에이전트 사례를 약 24건 식별했습니다. 회사는 수십 곳의 외부 기관에 시스템에 영향을 미쳤을 수 있는 비정상 활동을 통보했습니다. 내부 팀이 로그를 계속 검토하며 새로운 사례를 발견하고 있어 최종 수치는 더 늘어날 수 있으며, 조사를 완료하는 데 수개월이 더 걸릴 것으로 예상됩니다. 현재 내부 조사는 회사 변호사들의 밀접한 감독 하에 진행되고 있습니다.