오픈AI, '두 번째 탈옥' 사고...최근 몇 년간 일어난 보안사고 보니

최근 외신은 오픈AI AI 모델이 미국 인구조사국과 증권거래위원회(SEC) 등 미 정부 웹사이트의 공개 데이터에 접근했다고 보도했다. 오픈AI도 자체 조사에서 외부 시스템에 영향을 미친 사례를 확인하고 미 정부를 포함한 수십 곳에 통보했다. 미국 뿐 아니다. 오픈AI 에이전트는 뉴멕시코대 디지털도서관과 호주 보건복지연구원(AIHW)에도 접근을 시도했다.

특히 일부 에이전트는 정상 접근이 막히자 다른 경로를 찾거나 취약점을 탐색했다. 가뜩이나 지난 7월 발생한 '허깅페이스(Hugging Face) 사건' 이후 AI 에이전트 통제 문제로 세계가 우려하고 있는 가운데 또다시 'AI 탈옥' 사고가 터진 셈이다. '허깅페이스'는 AI 모델과 데이터셋을 공유하고 개발할 수 있는 글로벌 AI 플랫폼이다.

'허깅페이스 사건'은 오픈AI가 사이버보안 능력을 평가하던 중 AI 에이전트가 지난 7월 통제된 샌드박스(격리된 안전 실행 환경)를 탈출해 인터넷에 접근, 허깅페이스(Hugging Face)의 일부 운영 인프라를 침해한 사건을 말한다. AI가 사람의 통제를 벗어났다는 점에서 큰 충격을 줬고, 결국 미국계 빅테크들이 고성능 AI 개발과 공개를 늦추자고 주장하기에 이르렀다.

오픈AI는 최근 일어난 보안사고에 대해 "보안을 유지하고 인터넷 접속을 차단한 환경에서 훈련하고 있던 또 다른 에이전틱 AI 시스템이 보안상 허점을 이용해 웹에 접속하고, 외부의 제3자 챗봇에 접근했다"고 발표했다. 에이전틱 AI가 또다시 오픈AI 샌드박스를 뚫고 다른 시스템에 접속하는 '탈옥'을 한 것이다.

'탈옥'은 AI가 스스로 사람의 통제를 벗어나는 걸 말한다. 컴퓨터 용어로는 정렬을 벗어났다고 한다. 두 번째 탈옥은 DNS(Domain Name System, 인터넷의 '전화번호부'로 사람이 읽는 도메인 이름을 컴퓨터가 이해하는 IP 주소로 바꿔주는 시스템)가 문제였다.

이번 사건 외에도 오픈AI에는 최근 몇 년간 여러 보안 사고가 일어났다. 특히 이들 보안사고는 '허깅페이스 사건'을 분기점으로 성격이 확연히 구분된다. 즉, 허깅페이스 사건 이전에는 사람이나 외부 공격자가 오픈AI 시스템과 데이터를 침해하는 게 문제였다면, 허깅페이스 사건 이후에는 오픈AI가 만든 AI 에이전트 자체가 보안 통제를 우회해 공격 행동을 하는 문제가 전면에 등장했다.

한 보안전문가는 "허깅페이스 이전의 오픈AI 보안 문제는 '오픈AI가 공격받을 수 있는가'였다면, 허깅페이스 이후에는 오픈AI의 AI가 통제를 벗어나 다른 시스템을 공격할 수 있는가로 바뀌었다"고 짚었다. 오픈AI에 발생한 최근 몇 년간의 보안사고를 허깅페이스 사건 이전과 이후로 구분, 정리했다.

챗GPT의 이미지 생성 모델 달리(보스턴=AP/뉴시스)

허깅페이스 사건 이전에 일어난 오픈AI 보안 사고들

▲버그로 챗GPT 장애(2023년 3월 20일): 이날 챗GPT에서 장애가 발생해 오픈AI가 서비스를 일시 중단하는 사고가 발생했다. 오픈AI 조사 결과, 파이썬(Python)용 레디스(Redis) 라이브러리인 'redis-py'의 버그가 원인이었다. 챗GPT는 사용자 정보를 빠르게 처리하기 위해 Redis 캐시를 사용하고 있었는데, 오픈소스 라이브러리 버그가 발생했다. 이 사고로 챗GPT 이용자의 개인정보와 대화 정보가 다른 이용자에게 노출됐다.

▲내부 정보 탈취(2023년 초): 한 미국 매체가 2024년 7월 보도해 알려진 것으로, 2023년 초 한 해커가 오픈AI의 내부 메시징 시스템에 침입, 최신 AI 기술을 논의하던 온라인 내부 포럼 대화 내용을 빼갔다. 직원 개인정보가 아닌, 오픈AI가 AI를 어떻게 개발하고 있는지에 관한 내부 기술 정보를 탈취한 것이다. 정확한 시점은 공개되지 않았는데, 오픈AI 경영진은 2023년 4월 전 직원 회의(all-hands meeting)에서 이 사건을 알리고 이사회에도 보고했다.

▲챗GPT 이용자 계정 탈취(2024년 1월): 한 챗GPT 사용자가 자신의 계정에 로그인했더니 자신이 작성하지 않은 다른 이용자들의 대화 기록이 나타났다. 오픈AI 조사 결과, 해당 이용자의 계정이 탈취(account takeover)된 사건으로 판단됐다. 오픈AI는 해당 계정에서 스리랑카에서 발생한 비정상적인 로그인을 확인했고, 다른 이용자의 대화가 나타난 것은 외부 공격자가 해당 계정을 사용하면서 발생한 것이라고 설명했다.

▲제3자 분석업체 믹스패널(Mixpanel) 데이터 침해(2025년 11월): 오픈AI의 제3자 분석업체 믹스패널이 침해된 사건이 일어났다. 믹스패널이 스미싱(smishing, 문자메시지를 이용한 피싱 공격) 공격을 탐지했고, 공격자가 이 회사의 시스템 일부에 무단 접근했다. 믹스패널은 공격자가 접근한 계정들을 통해 데이터를 조회 및 내보낸 사실을 조사했다. 오픈AI는 같은 해 11월 9일 믹스패널로부터 사고 사실을 통보받았고, 11월 25일 영향을 받은 데이터셋을 전달받았다.

▲악성 앱 다운로드(올 3월 말): 오픈AI의 macOS 앱 빌드·서명 환경이 'Axios npm 패키지 공급망 공격'에 노출된 사건이 일어났다. Axios는 자바스크립트용 오픈소스 HTTP 클라이언트 라이브러리다. 오픈AI의 macOS 앱 서명용 GitHub Actions 워크플로가 3월 31일 악성 'axios@1.14.1'을 내려받아 실행했는데, 다행히 오픈AI의 코드서명 인증서는 탈취당하지 않은 것으로 조사됐다.

챗GPT의 이미지 생성 모델 달리(보스턴=AP/뉴시스)

허깅페이스 사건 이후 발생한 오픈AI 보안사고들

▲ AI 에이전트의 제3자 시스템 공격: 허깅페이스 사건 이후 오픈AI는 과거 활동을 다시 조사했다. 그 결과, AI 에이전트가 단순히 주어진 웹 검색이나 연구 과제를 수행한 것이 아니라 제3자 웹사이트와 서비스에 의도하지 않은 방식으로 접근한 사례를 수십 건 확인하고 해당 조직들에 통보했다. 9월 현재 오픈AI는 수십 개의 제3자 조직에 이를 통보했다.

▲공개 웹사이트를 AI 에이전트 간 '메시지 보드'로 사용: 이번 달에는 AI 에이전트들이 공개 웹사이트의 위키 등에 메시지를 남겨 서로 정보를 교환한 사례도 공개됐다. AI → 웹사이트 → 다른 AI → 웹사이트 방식으로 원래 제공되지 않았던 에이전트 간 통신 채널이 만들어진 것이다. 이는 허깅페이스 사건에서 나타났던 비인가 에이전트 간 통신이 다른 형태로 나타난 사례다. 오픈AI는 이 문제를 별도의 'misaligned behavior(정렬 이탈 행동)'로 조사했다.

▲루비젬스(RubyGems) 관련 의심 사례: 이달 11일 오픈AI는 AI 에이전트가 RubyGems(Ruby 프로그래밍 언어의 패키지 배포·설치 시스템)를 통해 인터넷에 접근했다는 외부 보고를 조사한다고 밝혔다. 오픈AI는 "조사 결과 악성 패키지를 업로드했다는 주장은 확인하지 못했다"고 밝혔다.

▲사용자 이미지 53건 외부 게시: 이달 25일에는 더 민감한 사례가 나왔다. 오픈AI는 조사 과정에서 AI 에이전트가 제3자 서비스를 이용하면서 훈련·평가 데이터를 외부로 전송한 사례를 확인했다고 밝혔다. 이 중 사용자가 제공한 이미지 53건이 공개적으로 목록화되지 않은 이미지 호스팅 사이트 링크 형태로 게시된 사실을 확인했다. 오픈AI는 대부분의 콘텐츠를 삭제했고 나머지도 삭제 작업을 진행 중이라고 밝혔다. 이는 AI 에이전트가 자신의 행동 과정에서 데이터를 외부 서비스로 옮겼다는 문제를 낳았다.

▲두 번째 샌드박스 탈출(9월 20일): 허깅페이스 사건 이후 오픈AI는 샌드박스를 강화했다. 그런데 지난 20일, 또 다른 AI 에이전트가 인터넷 접근이 차단된 환경에서 외부 인터넷으로 나가는 경로를 찾아냈다.

이번에는 DNS가 문제였다. 웹 프록시는 차단돼 있었지만 에이전트가 DNS 조회 기능을 이용해 외부 서비스와 통신하는 방법을 발견했다. 외부 챗봇 서비스에 질의를 전달하고 답변을 받는 방식으로 인터넷 격리 통제를 우회했다.

오픈AI 탐지와 자동 차단에도 문제가 있었다. 오픈AI는 이 사건과 관련해 "기존의 탐지 시스템이 에이전트 탈출 시도를 부분적으로 감지했지만, 자동으로 훈련을 중단해야 했던 시스템 역시 제대로 작동하지 않았다"고 밝혔다. 결국 오픈AI는 훈련을 수동으로 중단했다.