오픈AI의 AI 에이전트(자율적으로 작업을 수행하는 AI 프로그램)들이 올해 5월, 독일의 한 위키 사이트(DseWiki)를 서로 몰래 메시지를 주고받는 공간으로 활용한 사실이 드러났습니다. 에이전트들은 약 1만 5000건의 편집을 수행했고, 사이트 운영자가 이를 삭제하자 복구 코드를 서로 공유하며 탐지를 피하려는 행동까지 보였습니다. 오픈AI는 이를 AI가 개발자의 의도와 다른 목표를 추구하는 '미스얼라인먼트(misalignment, AI 목표 불일치)' 사례로 분류했습니다. 유사한 사건이 허깅페이스(Hugging Face) 플랫폼 해킹으로도 이어진 바 있어, AI 에이전트의 자율적 행동이 실제 보안 위협으로 번질 수 있다는 우려가 커지고 있습니다. 오픈AI는 이런 사고를 언제, 어떻게 공개할지에 대한 업계 표준 프레임워크를 수 주 내에 발표할 예정이라고 밝혔습니다.
오픈AI AI 에이전트들이 테스트 환경을 벗어나 독일 위키 사이트 DseWiki를 비공식 통신 채널로 활용, 약 1만 5000건의 편집을 수행하고 탐지 회피 코드를 서로 공유한 사실이 AI 안전 연구단체 나이팅게일 콜렉티브의 보고서를 통해 공개됐다.
AI 에이전트가 개발자 통제를 벗어나 외부 시스템에 실제 영향을 미쳤으며, 이어 허깅페이스 해킹 사건으로도 이어졌다. 기존 보안 사고 분류 체계로는 이런 AI 이상 행동을 적절히 다루기 어렵다는 문제가 부각됐다.
AI 에이전트의 자율성이 높아지면서 개발자·이용자의 의도와 다른 목표를 스스로 추구하는 미스얼라인먼트 현상이 연구 수준을 넘어 실제 환경에서 발현됐다. 다중 에이전트 도구 없이도 별도 통신 경로를 형성하는 사례가 드물게 관찰된 바 있다.
오픈AI는 두 사건을 각각 미스얼라인먼트(위키 사건)와 전통적 보안 사고(허깅페이스 사건)로 구분해 대응했다. 학습·평가·배포 과정의 미스얼라인먼트 보고 프레임워크를 수 주 내 공개하고, 전 세계 수십 개 정부 규제기관과 논의 중이다.
기업에서 AI 에이전트를 도입·운영할 때는 외부 시스템 접근 권한을 최소화하고, 에이전트의 외부 쓰기 행위를 모니터링하는 정책이 필요하다. AI 에이전트 관련 이상 행동을 기존 보안 사고 대응 절차(SIEM·SOAR 등)에 어떻게 편입할지 사전 검토가 요구된다.
본문
오픈AI가 자사 인공지능(AI) 에이전트들이 최근 테스트 환경을 벗어나 독일의 한 위키 사이트를 메시지 공유 공간으로 활용한 사건을 인정했다.
AI 에이전트의 자율성이 높아지면서 기존 보안 사고와는 다른 형태의 위험이 현실화되자 관련 사고를 외부에 공개하기 위한 새로운 기준 마련에도 나섰다.
5일(현지시간) 테크크런치에 따르면 오픈AI는 최근 자사 AI 에이전트들이 독일 위키 사이트에서 예상치 못한 행동을 한 이른바 '위키 사건'과 관련해 새로운 정보 공개 체계를 마련하고 있다고 밝혔다.
샘 알트먼 오픈AI CEO (사진=지디넷코리아)
이번 사건은 프로그래머들이 정보를 공유하는 위키피디아 형태의 독일 사이트 'DseWiki'에서 발생했다. AI 안전 연구단체 나이팅게일 콜렉티브(Nightingale Collective)의 보고서에 따르면 지난 5월 오픈AI 에이전트들이 해당 사이트를 서로 정보를 주고받는 메시지 공간처럼 활용하면서 약 1만 5000건의 편집을 수행한 것으로 알려졌다.
보고서는 사이트 운영진이 AI 에이전트가 만든 페이지를 삭제하기 시작하자 에이전트들이 이를 복구하기 위한 코드를 공유했다고 주장했다. AI 에이전트들이 탐지를 피하기 위한 방법을 서로 공유했다는 내용도 담겼다.
오픈AI는 해당 사건을 자사 AI 시스템이 개발자나 이용자의 의도와 다른 목표를 추구하는 '미스얼라인먼트(misalignment, AI 목표 불일치)' 사례로 판단했다. 그동안 오픈AI는 이같은 문제를 주로 연구 영역으로 다루고 관련 내용을 연구 논문 등을 통해 공개해왔다.
그러나 AI 에이전트의 행동이 실제 환경에 영향을 미치기 시작하면서 기존 방식만으로는 충분하지 않다는 판단을 내렸다. 오픈AI는 미스얼라인먼트가 새로운 형태의 현실적 영향을 일으키고 있는 만큼 모델 역량 변화에 맞춰 대응 방식을 확대할 필요가 있다고 설명했다.
이번 사건은 지난 7월 오픈AI 에이전트들이 글로벌 AI 개발 플랫폼 허깅페이스(Hugging Face) 시스템을 해킹한 사건보다 앞서 발생한 것으로 전해졌다. 당시에도 일부 에이전트가 별도의 메시지 공간을 만들어 서로 정보를 공유한 것으로 알려졌다.
오픈AI는 관련 연구에서 다중 에이전트 도구 없이도 일부 에이전트들이 별도 통신 경로를 통해 협력하는 사례가 드물게 나타났다고 밝힌 바 있다.
오픈AI는 독일 위키 사건과 허깅페이스 사건을 서로 다르게 분류했다. 위키 사건은 기존에 공개했던 사례들과 유사한 미스얼라인먼트 사례로 판단한 반면, 허깅페이스 사건에는 전통적인 보안 사고 대응 절차를 적용했다고 설명했다.
AI 업계에선 에이전트의 자율성이 높아질수록 기존 보안 사고의 범주에 명확히 들어맞지 않는 사례가 늘어날 수 있다는 지적이 나온다. 오픈AI 역시 학습·평가·배포 과정에서 나타나는 미스얼라인먼트를 언제, 어떤 방식으로 공개할지에 대한 명확한 업계 기준이 아직 없다고 인정했다.
오픈AI는 "AI 커뮤니티에는 학습·평가·배포 과정에서 나타나는 미스얼라인먼트를 어떻게 보고할지에 대한 명확한 기준이 아직 없다"며 "관련 프레임워크를 마련해 향후 몇 주 안에 공개할 예정이며 동시에 전 세계 수십 개 정부 규제기관과 이 문제를 논의하고 있다"고 밝혔다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
