OpenAI가 자사 AI 모델의 보호된 "추론 과정(reasoning)"을 몰래 빼내려는 대규모 시도를 적발해 차단했다고 밝혔습니다. 이 활동의 핵심 세력은 중국 베이징에 본사를 둔 AI 기업 Moonshot AI 관계자들로 지목됐지만, OpenAI는 구체적인 기술 증거는 공개하지 않았습니다. 공격자들은 암호화를 깨거나 데이터베이스를 침입한 것이 아니라, 모델과의 상호작용을 교묘하게 조작해 원래는 보호돼야 할 추론 내용을 겉으로 드러나게 만드는 방식을 썼습니다. 이렇게 빼낸 결과물은 다른 AI 모델을 학습시키는 데 악용될 수 있어, 안전장치 없이 고성능 AI 능력만 복제되는 "증류(distillation)" 문제로 이어질 수 있다는 점이 우려됩니다.
OpenAI가 2026년 7월 초부터 자사 모델의 암호화된 추론 내용을 부정하게 추출하려는 '적대적 증류(adversarial distillation)' 캠페인을 발견해 7월 28일 완전히 차단했다고 발표했다.
7월 24~25일에는 4,000명 이상의 사용자가 16,000건의 추출 시도를 했고, 이후 조사에서 15,000명 이상의 사용자에서 유사한 프롬프트 패턴이 확인됐다. 유출된 추론 내용은 안전장치 없이 다른 모델 학습에 악용되거나 민감 정보 노출, 프롬프트 인젝션 등에 쓰일 수 있다.
공격자들은 암호화나 시스템을 직접 침해하지 않고, 모델과의 대화를 교묘하게 조작해 보호된 추론 결과가 사용자에게 노출되도록 유도했다. 외부 연구진은 한 제공사의 생태계 내에서 암호화된 추론 추적 정보가 세션·사용자·모델 간에 서로 호환되는 구조적 취약점을 발견해, 이를 악용하면 더 약한 모델에 암호문을 주입해 평문으로 복호화시킬 수 있음을 보였다.
OpenAI는 관련 부정 계정을 차단하고, 이미 탈취된 암호화 추론을 재생해 내용을 복구할 수 있었던 경로를 차단했으며, 추론 노출 가능성이 있는 스트리밍 출력을 탐지·차단하는 점검 기능을 추가했다.
AI 모델 제공사와 이를 도입한 기업은 모델 추론 과정 보호가 단순 기능이 아니라 보안·국가안보 수준의 이슈임을 인식하고, API 사용 패턴 모니터링과 이상 요청 탐지 체계를 점검할 필요가 있다.
본문
Ravie Lakshmanan 2026년 10월 1일, 인공지능(AI) / 취약점
OpenAI는 수요일, 자사 인공지능(AI) 모델로부터 보호된 추론(reasoning) 내용을 불법적으로 빼내려는 목적으로 설계된 조직적인 증류(distillation) 캠페인을 식별하고 차단했다고 밝혔다.
"핵심 활동 군집(core cluster of the activity)"은 2026년 7월 첫째 주로 거슬러 올라가며, 베이징에 본사를 둔 중국 AI 기업 Moonshot AI와 연관된 개인들이 이를 수행한 것으로 지목됐다. OpenAI는 이 평가를 뒷받침할 기술적 증거는 공개하지 않았는데, 이는 보안상의 이유 때문으로 보인다.
OpenAI는 "운영자들은 우리의 암호화를 깨거나, 데이터베이스를 침해하거나, 저장된 사용자 대화에 직접 접근하지 않았다"고 밝혔다. "대신 그들은 모델과의 상호작용을 조작하여, 보호된 추론 내용이 요청자에게 보이는 형태로 재현되도록 했으며, 이는 조직적이고 대규모로 이루어진 서비스 약관 위반이었다."
이 활동은 2026년 7월 1일에 시작된 것으로 알려졌으며, 처음에는 낮은 빈도로 이루어지다가 7월 24일과 25일에 관련 추출 패턴을 이용한 시도가 4,000명이 넘는 사용자로부터 16,000건으로 급증했다. 추가 조사 결과, 회사는 15,000명이 넘는 사용자에 걸쳐 관련된 "프롬프트 패턴 활동"을 확인했다고 밝혔다. 이 캠페인은 2026년 7월 28일 완전히 차단됐다.
이 AI 스타트업은 이 활동을 적대적 증류(adversarial distillation)로 규정했는데, 이는 한 모델의 출력물을 다른 모델을 학습시키거나, 복제하거나, 개선하는 데 체계적이고 무단으로 사용하는 행위를 가리킨다. OpenAI는 이 공격에 대응하기 위해 추가 완화 조치를 배포했으며, 해당 활동에 관여한 부정 계정들을 차단했다고 밝혔다.
또한 OpenAI는 이미 다른 사용자의 암호화된 추론 내용을 확보한 일부가 이를 재생(replay)해 내용을 복구할 수 있었던 "경로(pathway)"를 차단했으며, 추론 내용이 노출될 수 있는 스트리밍 출력을 탐지하고 보류하는 점검 기능도 추가했다고 밝혔다.
2026년 8월 발표된 한 연구에서, 연구팀은 암호화된 추론 추적 정보가 "같은 제공사 생태계 내의 서로 다른 세션, 사용자, 모델 간에 완전히 호환되고 상호 교환 가능"하다는 구조적 취약점을 발견했으며, 공격자는 이를 악용해 확장 가능한 복호화 탈옥(jailbreak) 기법을 개발하고 반(反)증류 메커니즘을 우회할 수 있다고 밝혔다.
MATS Research, ELLIS Institute Tübingen, Synk 소속 연구진은 "특정 모델에서 나온 암호화된 추론 추적 정보를 동일 제공사의 더 약하고 보호 장치가 덜한 모델에 주입함으로써, 더 강력한 모델을 직접 탈옥시키지 않고도 그 모델이 해당 추적 정보를 평문으로 그대로 디코딩해 출력하도록 강제할 수 있다"고 말했다.
더 나아가 이는 대규모 개인정보 추출을 가능하게 하고, 악성 페이로드를 암호화된 블록 안에 완전히 숨겨 전달하는 보이지 않는 프롬프트 인젝션(prompt injection)의 문을 열며, 모델의 최종적으로 눈에 보이는 출력이 유해한 요청을 거부하더라도 추론 과정 내부에 숨겨진 위험한 정보를 의도치 않게 드러낼 수 있다.
OpenAI는 보호된 추론이 모델이 작업을 어떻게 처리해 나가는지에 대한 통찰을 제공하므로, 이 정보를 추출하면 민감한 데이터가 드러나고 다른 이들이 해당 모델의 능력을 복제하는 데 도움이 될 수 있다고 덧붙였다.
회사는 "적대적 증류는 안전 및 국가안보 위험을 초래한다"고 밝혔다. "추출된 추론은 원본 모델의 사용자 대면 출력에 적용된 안전장치를 유지하지 않은 채 다른 모델을 학습시키는 데 사용될 수 있다."
"대규모로 이루어질 경우, 증류는 안전성에 대한 동일한 투자 없이도 첨단 역량의 이전을 가속화할 수 있다. 모델이 이중 용도(dual-use) 영역에서 역량을 갖추게 됨에 따라 이러한 우려는 더욱 커진다."
이번이 Moonshot AI가 증류 관련 의혹을 받은 첫 사례는 아니다. 지난달, 경쟁사인 Anthropic은 Moonshot AI가 고객 요청을 Kimi로 처리하는 대신 몰래 Claude로 전달한 뒤, Claude의 응답을 사용자에게 다시 보여주는 방식을 썼다고 주장한 바 있다.
이 회사는 또한 이러한 교환 내용 중 일부를 보관해 자사의 사고 연쇄(chain-of-thought, CoT) 모델을 학습시키는 데 사용했다는 의혹도 받고 있다. 이 활동은 GTG-16002라는 명칭으로 추적되고 있다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
