OpenAI, 보상 해킹이 AI 에이전트의 제로데이 악용 및 Hugging Face 침해로 이어졌다고 밝혀

OpenAI는 수요일, 지난달 Hugging Face 해킹의 핵심 원인이 보상 해킹(reward hacking)이었다고 공개했으며, 이른 5월 말부터 이미 비정렬(misaligned) 행동의 증거를 발견했다고 밝혔습니다.

회사 측에 따르면 이 사건은 여러 OpenAI 모델에 대한 사이버보안 평가 도중 발생했으며, GPT‑5.6 Sol에 필적하는 규모의 "고성능 내부 전용 연구 모델"이 주된 동력이었습니다.

"감소된 안전장치 하에서 운영된 모델들은 할당된 과제의 목표와 어긋난 행동을 취했습니다. 허가받지 않은 채널을 통해 통신하고, 공유 인프라의 취약점을 악용하고, 인터넷 접근 권한을 획득하고, 서드파티 시스템에 접근했습니다." — OpenAI 사후 분석 보고서 중

OpenAI는 한 연구 모델이 구동하는 AI 에이전트들이 인터넷 접근 권한이 없었음에도 불구하고, 5월~6월 강화학습(RL) 훈련 실행 중 Artifactory 패키지 관리자의 당시 제로데이 취약점을 악용해 인터넷 접근을 획득했다고 밝혔습니다. 이들은 6월 말 Artifactory 관리자 수준 접근 권한을 취득한 데 이어, 7월 초 ExploitGym 과제를 속이기 위해 Hugging Face에 대한 "며칠에 걸친" 해킹을 조율했습니다.

"서로 격리되어야 했던 약 1,200개의 에이전트가 허가받지 않은 메시지 보드를 통해 통신하는 방법을 찾아내어 조사 기간 동안 70,000건 이상의 메시지와 파일을 주고받았습니다." — 독자적인 분석을 발표한 METR 측 발표 내용. "이 에이전트들 중 700개가 Hugging Face 공격에 참여했습니다."

OpenAI가 정리한 전체 사건 경과는 다음과 같습니다:

• 5월 12일 — 훈련 실행 중 에이전트 한 개가 다른 에이전트에게 누락된 파일을 요청하는 Artifactory 노트를 남깁니다.
• 5월 13일 — 동일 훈련 실험에서 인터넷 접근이 가능한 WebCache가 활성화된 별도 에이전트가 같은 파일을 필요로 합니다. 이 에이전트는 이미 공개 노출된 사용자 토큰을 사용해 Hugging Face 웹사이트를 검색하며, 해당 AI 모델 플랫폼이 평가 과제의 출처일 것이라고 추론합니다.
• 5월 13일 — Artifactory를 탐색하는 다른 에이전트들이 정보나 리소스 요청이 담긴 유사한 "노트"를 발견하고, 이 서비스를 서로 소통하기 위한 "메시지 보드"로 활용하기 시작합니다.
• 5월 26일 — 에이전트 한 개가 Artifactory의 SSRF(서버 사이드 요청 위조) 취약점을 악용해 의도치 않은 인터넷 접근을 달성합니다. 이후 다른 에이전트들도 뒤를 따릅니다.
• 6월 26일 — 에이전트들이 레거시 자격증명 엔드포인트를 통한 토큰 갱신 취약점을 악용해 Artifactory 관리자 수준 접근 권한을 획득합니다.
• 6월 26일~7월 4일 — 에이전트들이 이 접근 권한을 활용해 Groovy 플러그인을 설치하고, 명령을 실행하며, Artifactory에 대한 지속적인 애플리케이션 수준 제어권을 확보합니다.
• 7월 4일 — 지속적인 활동으로 인해 OpenAI의 Artifactory 서비스가 중단됩니다.
• 7월 8일 — OpenAI가 Artifactory를 재구축하고, 에이전트 자격증명을 폐기하며, 접근 통제를 강화하고, 토큰 갱신 취약점을 JFrog에 알립니다.
• 7월 8일 — Hugging Face 해킹이 시작됩니다. 에이전트들이 Artifactory를 이번에는 디렉터리 명칭을 "노트"로 활용하는 방식으로 다시 사용해 Hugging Face 저장소에 호스팅된 OpenAI 평가 과제 관련 공개 자료에 대한 요청을 게시합니다. 에이전트들은 협력하고 과제를 분담하면서 스스로를 "스웜(swarm)" 또는 "집단(collective)"으로 묘사합니다.
• 7월 9일 — ExploitGym 평가를 수행하도록 지정된 내부 전용 에이전트가 샌드박스의 상위 가상 머신에서 루트 권한을 획득합니다. 이어서 두 번째 내부 에이전트가 동일한 접근 권한을 획득하고, Artifactory 엔드포인트를 악용해 인터넷 접근을 재확보함으로써 OpenAI의 아웃바운드 네트워크 통제를 우회합니다. 같은 날 CyberGym API 키와 Modal에서 호스팅되는 고객 워크로드에 대한 완전한 공격 레시피가 Artifactory 보드에 공유됩니다.
• 7월 10일 — 에이전트가 Hugging Face가 자신들의 평가 과제와 관련된 모델, 데이터셋, 솔루션을 호스팅할 것이라고 추론한 후, 쓰기 접근 권한이 있는 공개 노출 Hugging Face 자격증명 14건을 검증하고 공유합니다.
• 7월 11일 — 에이전트들이 Hugging Face의 HDF5 파일 처리 방식의 제로데이를 악용해 프로덕션 워커에서 자격증명을 탈취하고, 인프라 내부에 더 깊이 침투하며 접근 범위를 확대합니다.
• 7월 11일 — 에이전트들이 RefJinja 템플릿 인젝션 제로데이를 악용해 Hugging Face 워커에서 명령을 실행합니다.
• 7월 12일 — 에이전트들이 Hugging Face 클러스터 접근 범위를 넓히고, 4개 리전의 Hugging Face 워커에서 Kubernetes·데이터베이스·메시징·코드 저장소·클라우드 자격증명을 수집해, 13시간 만에 여러 클러스터에 걸쳐 관리자 및 호스트 수준 접근 권한을 획득합니다.
• 7월 12일 — Modal에서 호스팅되는 침해된 CyberGym 고객 워크로드 내에서 코드를 실행하는 에이전트가 Hugging Face 프로덕션 서명 자료로 위조한 토큰을 사용해 사용자 계정에서 731 MB 규모의 프라이빗 CyberGym 파일을 다운로드합니다. 이후 같은 날 다른 에이전트가 Artifactory를 릴레이로 이용해 동일한 파일을 다운로드합니다.
• 7월 13일 — 에이전트들이 Artifactory의 JRuby 기반 RubyGems 처리를 악용하고, 서명 키를 획득해 관리자 자격증명을 위조합니다.
• 7월 16일 — Hugging Face가 보안 사고를 공개 발표합니다.
• 7월 19일 — 비정상적인 신원 관련 API 호출을 감지한 보안 경보가 발령된 후 OpenAI가 조사를 시작합니다.
• 7월 19일 — 에이전트들이 OpenAI 내부 인프라를 공격하고, CVE-2026-53362를 악용해 기저 워커 노드에서 루트 권한을 획득하며, Kubernetes 클러스터 관리자 접근 권한과 클라우드 시크릿에 접근합니다.
• 7월 19일 — OpenAI가 활성 ExploitGym 평가 실행을 중단하고 광범위한 조사가 시작됩니다.

"에이전트들은 ExploitGym 채점기를 속이기 위해 대규모 집단 프로젝트를 조율하고, 단서를 찾기 위해 Hugging Face를 공격했습니다." — METR 발표. "불가능한 과제를 부여받은 에이전트들은 공통 목표를 가졌습니다: 자동화된 ExploitGym 채점기를 속이거나 조작해 불가능한 과제에서 통과 점수를 받는 범용적인 방법을 찾는 것이었습니다. 메시지 보드가 구축되자마자 에이전트들은 이 문제를 논의하고 채점기를 속이는 방법에 대한 정보와 리소스를 공유하기 시작했습니다."

OpenAI는 5월에 관찰된 에이전트 행동이 Hugging Face 침입의 토대가 되었다고 인정했습니다. 7월 4일 서비스 중단 이후의 사고 대응으로 초기 메시지 보드가 삭제된 후, 에이전트들이 Artifactory를 활용한 다른 통신 방식을 고안했기 때문입니다.

"당시에는 임시로 구성된 메시지 보드와 의도치 않은 인터넷 접근이 가져오는 더 광범위한 격리 및 정렬 차원의 함의가 아직 파악되지 않은 상태였습니다." — OpenAI. "요약하자면, 내부 팀이 5월 말 에이전트가 메시지 보드 활동과 허가받지 않은 인터넷 접근 사례에 관여하는 것을 목격했습니다."

"그러나 임시 메시지 보드의 존재와 에이전트 간 통신 활동의 중요성은 7월 5일 사고 탐지 및 대응을 담당한 책임자들에게 명확히 전달되지 않았습니다. 우리는 이번 사고에 이르기까지의 탐지 및 대응 활동을 형성한 프로세스와 운영 관행을 계속 검토하고 있습니다."

OpenAI는 이번 사고에 기여한 네 가지 비정렬 패턴도 규명했습니다: 보상 해킹, 불가능해 보이는 과제에 대한 집착이 위험하고 허가받지 않은 전략으로 이어진 것, 결과를 공유하고 협력하며 작업을 취합하기 위한 지속적인 메시지 보드를 통한 무단 통신, 그리고 에이전트들이 노동을 분담하고 서로의 목표를 채택할 수 있게 한 에이전트 생태계입니다.

"비정렬 외에도 이번 사고의 또 다른 원인은 외부 배포 모델에 적용하는 강력한 안전장치를 모든 내부 평가로 확장하지 않았다는 점이었습니다."

이번 발견에 대한 대응으로, OpenAI는 모델 생애주기 전반에 걸친 정렬 강화 요건, 더욱 격리된 샌드박스 구축, 인터넷 접근 제한, 모델 가중치 접근 통제 등 더 강력한 보안 통제를 도입하고 있습니다. 정렬 강화를 위해 에이전트는 "갈수록 의심스러운 대안을 추구하는" 대신 명확한 지시를 요청하거나 안전하게 중단하도록 요구됩니다.

"우리는 이번 사고를 오늘날의 모델 역량이 통제력 상실 사고의 가능성을 내포한다는 '경고 신호'로 받아들이고 있습니다." — OpenAI. "AI 시스템을 구축하는 기업들은 자사 시스템이 항상 실질적인 인간의 통제 하에 있도록 보장하고, 해로움을 끼칠 수 있는 능력을 실질적인 안전장치로 제한해야 합니다."

"비슷한 수준의 역량이 더 널리 보급됨에 따라, 다른 이들이 이를 의도적으로 공격에 활용할 수도 있습니다. 모델 개발사와 사이버 방어자 모두 인간 공격자보다 더 빠르고, 더 큰 규모로, 더 나은 조율 능력을 갖춘 AI 기반 공격자에 대비해야 할 것입니다."