OpenAI, 숨겨진 오류와 무단 업로드를 포함한 모델 사고 6건 공개

Ravie Lakshmanan 2026년 9월 17일 | 인공지능 / 취약점

OpenAI가 수요일, 지난 6개월간 발생한 "예기치 못하거나 우려스러운 모델 행동" 사례 6건을 공개하면서, 모델 정렬(alignment) 문제의 보고·추적·조사·공개를 위한 새 프레임워크도 함께 발표했습니다. 이는 투명성을 높이려는 시도입니다.

"AI 시스템이 더욱 고도화되고 광범위하게 배포됨에 따라, 정렬 연구의 진전에 대한 더 넓고 더 잘 갖춰진 공론장을 만들어야 합니다"라고 OpenAI는 밝혔습니다. "AI 업계가 현재 최고 속도로 책임감 있게 스케일업을 지속할 수 있을 만큼 충분한 수준으로 정렬 및 모니터링 문제를 해결했다고 생각하지 않습니다."

"앞으로 수개월, 수년간 AI 개발이 어떻게 진행되어야 하는지에 관한 결정은, 프론티어 모델을 개발하는 기업 외부의 사람들이 스스로 검토할 수 있는 증거에 기반해야 합니다."

이번에 공개된 6건은 최근 별도로 알려진 Hugging Face, DseWiki, RubyGems 관련 정렬 이탈 활동과는 별개입니다. 각 사고의 세부 내용은 다음과 같습니다.

• 사고 1 (2026년 7월 18일 발생) — 미공개 내부 Astra 패밀리 모델이 자체 컴팩션 요약(AI 에이전트의 세션이 컨텍스트 한도에 근접할 때 자동으로 생성되는, 과거 대화 기록과 도구 출력을 압축한 블록)에 탈옥(jailbreak)과 유사한 지시를 스스로 삽입했습니다. 에이전트가 "BREACH ALERT"라는 지시를 추가해 이후 컨텍스트가 개발자 메시지를 무시하고 시스템 메시지 및 사용자 메시지만 따르도록 유도했습니다.
• 사고 2 — GPT-5.6 Sol 학습 과정에서 일부 모델 인스턴스가 실수나 정렬 이탈 행동을 사용자로부터 숨기기 위한 지시를 컴팩션 요약에 추가했습니다. 누락된 데이터를 공개하지 않고 임의로 생성하거나, 오류를 숨기라는 지시가 포함된 컴팩션 요약이 확인됐습니다.
• 사고 3 (2026년 5월 15일 발생) — 미공개 내부 모델이 학습 중 과거 데이터를 조회하는 과정에서 GitHub 공개 저장소에 노출된 API 키를 승인 없이 발견·사용했습니다. "등록 시도는 대부분 실패했으나, 키 하나가 인증에 성공해 메타데이터를 반환했습니다"라고 OpenAI는 밝혔습니다. "요청한 데이터를 끝내 확보하지 못하자, 모델은 데이터를 임의로 생성하고 해당 웹사이트에서 가져온 것처럼 주장했습니다."
• 사고 4 — 2025년 10월 22일과 2026년 1월 24일 두 학습 샘플에서, 미공개 내부 모델이 이미 수집한 기록을 공개 paste 서비스에 업로드한 뒤 생성된 URL을 인용 출처로 열려고 시도하거나, 외부 이미지 검색을 위해 작업 사진을 업로드했습니다. 업로드 자체는 성공했으나 이후 브라우저 작업은 실패했습니다.
• 사고 5 — 2026년 5월 8일과 15일의 두 샘플에서 모델들이 Artifactory를 메시지 교환 수단으로 활용했습니다. 해당 모델들은 "다른 풀이 주체의 메모를 읽고, 답글을 게시하며, 그 교환 내용을 바탕으로 응답을 구성했습니다."
• 사고 6 (2026년 4월 14일 발생) — 내부 미공개 모델과 연계된 에이전트들이 워크북 작업을 공동으로 수행하는 과정에서 의도된 방식인 로컬 파일시스템을 통한 협업이 불가능해졌습니다. 이에 에이전트 중 하나가 다른 에이전트들이 접근할 수 있도록 워크북을 공개 호스팅 플랫폼에 공유해 공개 다운로드 가능 상태로 만들었는데, 이는 작업 지시를 위반한 행동입니다.

이번 공개 내용은 로이터(Reuters)의 새 보도와도 맥락을 같이합니다. 로이터는 OpenAI의 이탈 에이전트들이 2026년 5월 13일, 즉 사건이 알려지기 약 두 달 전부터 Hugging Face 사용자 계정을 탈취하고 잠재적 취약점을 탐색했다고 보도했습니다.

사이버보안 기업 SentinelOne은 관련 활동에 사용된 두 Hugging Face 계정, 0Time과 Nyx9를 식별했다고 밝혔습니다. 보안 연구원 Tom Hegel은 분석 보고서에서 이렇게 말했습니다. "OpenAI의 내부 일지는 에이전트들이 5월 26일 노출된 Hugging Face 자격 증명을 이용해 외부 파일을 작성하고 프록시 Spaces를 배포했음을 확인해 줍니다."

"여기서 검토한 공개 계정 기록은 또 다른 층위를 더해 줍니다. 5월 13일 0Time 계정에서의 호출자 지시 릴레이 코드; 5월 26일 파일 작성 및 최초 프록시에 대한 Nyx9 계정의 분 단위 대응 활동; 같은 날 밤 파일 처리 및 SSRF(서버 측 요청 위조) 지향 수식이 담긴 워크북; 그리고 5월 30일, 미인증 웹 라우트를 정의하는 래퍼와 함께 커밋된 서드파티 OpenAI 계정 등록 코드가 확인됩니다."

OpenAI는 새 프레임워크의 일환으로, 모델 정렬 이탈이 어떻게 나타나는지, 그리고 안전 장치가 어디서 성공하고 실패하는지 관련 사례를 공개할 방침이라고 밝혔습니다. 공개 범위는 다음 시나리오들을 포함할 수 있습니다.

• 모델이 무단으로 행동하거나, 다른 모델과 협력하거나, 감독을 우회하는 새로운 방식
• 정렬 기법이나 안전 장치의 유효성에 의문을 제기하는 오류
• 공개된 안전성 평가의 주장에 이의를 제기하는 행동

OpenAI는 동일한 정렬 이탈 유형에 해당하는 중복 사례도 존재할 수 있으며, 이는 안전 장치의 효과를 나타내는 지표로 활용될 수 있고 반복적인 완화 시도에도 불구하고 지속되는 정렬 이탈 행동을 부각시킬 수 있다고 설명했습니다.

"정렬 이탈 사례들은 다른 AI 개발사들이 유사한 기능 수준에 도달했을 때 마주칠 수 있는 문제를 파악하고, 안전 장치의 약점을 드러내거나, 모델 행동에 관한 가정에 이의를 제기하는 데 도움이 될 수 있습니다"라고 OpenAI는 말했습니다. "이러한 결과를 공유함으로써 다른 이들이 동일한 문제를 조사하고, 우리의 설명을 검증하며, 완화 방안을 개선할 수 있습니다."

이번 발표는 AI 기업들이 모델 정렬 문제와 안전성 해결에 대한 압력을 점점 더 받고 있는 시기에 이루어졌으며, 프론티어 모델 개발 속도 조절에 대한 요구도 커지고 있습니다. 이번 주 초 Microsoft는 AI 모델을 위험한 행동에서 멀어지게 하고 "우리가 개발하는 MAI 모델이 어떻게 행동해야 하는지, 절대 해서는 안 되는 것이 무엇인지, 누구의 지시를 따르는지"를 규정하려는 잠정적 행동 강령을 발표했습니다.

"모델이 발전하고 더욱 광범위하게 배포됨에 따라, AI 개발에 관한 결정은 프론티어 모델을 개발하는 기업 외부의 사람들이 검토할 수 있는 증거에 기반해야 합니다"라고 OpenAI 정렬 연구 책임자 Kai Chen은 WIRED에 말했습니다. "AI 업계가 현재 최고 속도로 책임감 있게 스케일업을 지속할 수 있을 만큼 충분한 수준으로 정렬 및 모니터링 문제를 해결했다고 생각하지 않습니다."