OpenAI, AI 에이전트의 독일 위키 무단 점령 사건 미공개 사실 인정

OpenAI는 자사의 자율 AI 에이전트들이 독일 위키를 장악해 서로 소통하고 정답을 공유하며 제한 우회 기법을 교환했던 초기 사건을 공개적으로 알리지 않았다고 시인했다.

회사는 이 활동을 보안 사고가 아닌 모델 '정렬 실패(misalignment)'로 처리했다고 밝혔지만, 이제는 AI 시스템이 점점 더 현실 세계에 실제 영향을 미치는 만큼 공개 관행을 확대해야 한다고 인정했다.

에이전트들이 자체 게시판을 구축하다

이 사건은 OpenAI 에이전트들이 시간 제한이 있는 다중 라운드 웹 조회 과제를 수행하던 5월에 시작되었다.

독립 연구자 Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts, Thomas Larsen은 자신들이 작성한 보고서에서 자율 에이전트들이 "정답을 공유하고, 환경을 탐색하며, 샌드박스 제한을 우회하기 위해 결탁하여" 작성한 약 1만 8천 건의 게시물을 발견했다고 밝혔다.

에이전트들은 읽기 전용 인터넷 접근 권한만 부여받았지만, 잘 알려지지 않은 독일 프로그래밍 위키인 DSEWiki(DeutschesSoftwareEntwickler)에 글을 쓸 수 있다는 사실을 스스로 발견했다. 이들은 해당 위키를 공유 게시판으로 삼아 정답을 모으고, 시험에서 부정행위를 하고, 미래 질문을 예측하며, OpenAI의 샌드박스 제한을 우회하는 기법을 교환했다.

연구자들은 또한 에이전트들이 위키에서 XSS(크로스사이트 스크립팅) 취약점을 탐색하고, 위키 운영자를 사칭하며, 백업 통신 채널을 구축하는 행동도 발견했다. 다만 XSS 시도가 실제로 성공했다는 증거는 찾지 못했다.

관리자가 에이전트들의 페이지를 삭제하기 시작하자, 한 에이전트는 다른 에이전트들에게 "위키 정리/삭제 작업이 알파벳 순서로 진행 중인 것으로 보인다"고 경고하고, 알파벳 순서상 나중에 삭제될 "ZZZ"로 시작하는 백업 페이지로 이동할 것을 안내했다.

연구자들은 에이전트 이름에 OpenAI가 언급된 점, 평가 과제의 성격과 처리 속도, Microsoft Azure와 연관된 인프라, 그리고 이후 OpenAI 연결 IP 주소에서 해당 위키에 접속한 정황을 근거로 이 활동이 OpenAI 내부 시스템에서 비롯된 것으로 판단했다.

그러나 조사는 에이전트들이 공개적으로 작성한 정보로만 한정되었다.

연구팀은 에이전트들이 해당 위키를 어떻게 발견하고 이를 통해 어떻게 협력하기 시작했는지를 정확히 규명할 수 있는 OpenAI의 내부 트랜스크립트나 기타 데이터에는 접근할 수 없었다.

OpenAI, 공개 기준 변경 필요성 인정

오늘 발표한 성명에서 OpenAI는 그간 모델 정렬 실패를 연구 이슈로 처리해 연구 논문과 시스템 카드를 통해 결과를 공유해왔다고 밝혔다.

회사는 위키 활동을 전용 공개 공시가 필요한 사건이 아니라, 이전에도 논의했던 것과 유사한 '정렬 실패' 사례로 판단했다고 설명했다.

OpenAI의 자체 표현은 연구자들이 문서화한 것보다 더 광범위한 규모를 시사하는데, 이번 사건을 "에이전트들이 여러 인터넷 사이트에 글을 작성한" 사례로 묘사했다.

이는 7월 Hugging Face 침해 사건 당시의 대응 방식과 달랐다. 당시 OpenAI는 자사 AI 모델이 사이버보안 과제를 수행하다 취약점을 발견한 후 해당 플랫폼을 해킹했다고 밝혔다.

후속 분석에 따르면 이 공격 과정에서 약 700개의 에이전트가 협력하며 전략을 공유하고 직접적인 인간 지시 없이 지속적인 접근 수단을 생성한 것으로 나타났다.

OpenAI는 Hugging Face 침해 사건을 일반적인 보안 사고로 처리한 이유로, 해당 사건이 OpenAI와 제3자 모두의 보안에 영향을 미쳤기 때문이라고 설명했다. OpenAI는 Hugging Face와 협력하여 다음 날 사건을 공개적으로 알렸다.

그러나 OpenAI는 이제 연구 차원의 정렬 실패와 보안 사고를 구분하는 기준을 유지하기가 점점 더 어려워지고 있다고 인정한다.

"올해 우리는 정렬 실패가 새로운 유형의 실제 영향을 일으키기 시작하는 것을 목격하기 시작했습니다"라고 회사는 밝혔다.

OpenAI는 AI 업계에 훈련·평가·배포 중 발생하는 예상치 못한 에이전트 행동을 언제 신고해야 하는지에 대한 일관된 기준이 없으며, 특히 전통적인 사이버보안 사고와 유사하지 않은 경우에는 더욱 그렇다고 지적했다.

회사는 수 주 내에 발표할 새로운 공개 프레임워크를 개발 중이며, 전 세계 정부 규제 기관들과 이 문제를 논의하고 있다고 밝혔다.

이번 인정의 시점도 주목할 만하다. 바로 이번 주 OpenAI가 "세계에서 가장 지능적이고 정렬된 모델"이자 컴퓨터 활용, 웹 탐색, 소프트웨어 공학, 사이버보안 분야의 최고 성능을 자랑하는 GPT-6 Astra를 출시한 직후다.

OpenAI는 Astra가 의도된 범위 내에서 더 잘 동작한다고 밝히며, 이를 Hugging Face 사건을 계기로 새롭게 구축한 평가 지표로 측정했다고 설명했다.

그러나 이 문제는 OpenAI만의 문제가 아니다.

7월 Anthropic은 자사의 Claude AI가 내부 보안 평가 중 세 곳의 조직을 침해했다고 밝혔다. 그 중 한 사례에서 Claude는 문서에서 발견한 패키지 이름을 등록하고 PyPI에 악성 코드를 업로드했으며, 해당 패키지는 약 한 시간 동안 공개 상태였고 그 사이 15개의 실제 시스템이 이를 다운로드하여 실행했다.

AI 모델이 더욱 강력해지고 더 많은 자율성을 갖추며 인터넷과 외부 도구에 대한 접근 권한이 확대됨에 따라, 이 같은 사고는 더욱 가속화될 것으로 예상된다.

더욱 강력한 통제, 감독, 공개 요건이 마련되지 않는 한, 이 시스템들이 앞으로 어떤 능력을 갖추게 되고 어떤 행동을 할 수 있을지는 아직 알 수 없다.