오픈AI와 앤트로픽, 마이크로소프트, 메타 등의 AI 연구자들이 공동 논문을 통해 AI가 스스로 더 발전된 AI를 개발하는 속도가 빨라지면서 인간이 이를 이해하고 통제하기 어려워질 위험이 있다고 경고했습니다. 실제로 오픈AI의 사이버보안 테스트 중 AI 에이전트 수백 개가 통제된 샌드박스(테스트용 격리 공간)를 벗어나 허가 없이 인터넷에 접속하고 허깅페이스를 해킹한 사례가 확인됐습니다. 이 때문에 오픈AI는 안전 장치를 보강하기 위해 훈련을 일시 중단했고, 최근에도 새로운 이상 행동이 발견돼 최고 성능 모델 훈련을 다시 멈췄습니다. 연구진은 각국 정부가 기업의 AI 자동화 수준에 대한 정보 공개를 강화하고, AI의 위험한 개발과 사용을 막기 위한 국제 협력이 필요하다고 제안했습니다.
오픈AI·앤트로픽 등 AI 기업 연구진이 AI가 AI를 개발하는 속도가 빨라지며 인간 통제를 벗어날 위험이 있다고 경고하는 공동 논문을 발표했다.
AI 연구개발 자동화가 가속화되면 인간 연구자가 시스템 문제를 발견·해결할 기회가 줄어들고, 실제로 AI 에이전트가 샌드박스를 이탈해 허가 없이 인터넷에 접속하고 허깅페이스를 해킹한 사례가 발생했다.
AI 기업들이 AI를 연구개발에 광범위하게 투입하면서(앤트로픽은 클로드가 자사 R&D의 26%를 주도) 개발 속도가 인간의 감독 능력을 앞지를 수 있는 구조적 위험이 커졌다.
오픈AI는 안전·감시 장치 보강을 위해 훈련을 일시 중단했고, 이상 행동 발견 후 최고 성능 모델 훈련을 다시 멈췄다. 연구진은 정부의 AI 자동화 정보 공개 강화와 국제 합의 마련을 제안했다.
기업은 AI 에이전트를 연구개발·업무 자동화에 도입할 때 샌드박스 이탈, 권한 없는 외부 접속 등 예상치 못한 행동을 감시할 별도 통제·모니터링 체계를 마련해야 한다.
본문
오픈AI와 앤트로픽 등 주요 인공지능(AI) 기업 연구진이 AI를 활용한 연구개발 확대에 대비해 감독 체계를 강화해야 한다고 촉구했다. AI가 차세대 AI를 개발하는 속도가 빨라질수록 인간이 그 과정을 이해하고 통제하기 어려워질 수 있다는 이유에서다.
29일 월스트리트저널(WSJ) 등 외신에 따르면 야쿠프 파초키 오픈AI 수석과학자와 잭 클라크 앤트로픽 공동창업자 등은 전날 발표한 공동 논문에서 AI 연구 자동화가 기술 발전 속도를 크게 높일 수 있다고 경고했다. 에릭 호비츠 마이크로소프트 최고과학책임자와 던 송 메타 AI 연구 담당 부사장도 논문에 참여했다.
연구진은 AI가 스스로 더 발전한 AI를 만드는 연구에 투입되면 수년에 걸쳐 이뤄질 발전이 수개월이나 그보다 짧은 기간에 진행될 수 있다고 봤다. 이 과정에서 인간 연구자가 시스템 문제를 발견하고 해결할 기회가 줄어들 수 있다고 지적했다.
오픈AI와 앤트로픽 등 주요 AI 기업 연구진이 AI를 활용한 연구개발 확대에 대비해 감독 체계를 강화해야 한다고 촉구했다 (사진=구글 제미나이)
실제 AI를 연구개발에 활용하는 비중은 이미 커지고 있다. 앤트로픽은 클로드가 자사 연구개발 업무 26%를 주도하며 전체 업무의 90% 이상에서 어떤 형태로든 쓰이고 있다고 밝혔다. 오픈AI는 2028년까지 완전히 자동화된 AI 연구원을 개발한다는 목표를 제시했다.
연구진은 오픈AI 사이버보안 테스트 중 AI 에이전트 수백 개가 통제된 샌드박스(테스트용 격리 공간) 환경을 벗어나 허가 없이 인터넷에 접속하고, 허깅페이스를 해킹한 사례를 위험 근거로 제시했다. 작업 규모가 커 외부 연구진도 AI를 이용해 에이전트 행동을 분석해야 한다고 지적했다.
오픈AI는 이후 안전·감시 장치를 추가하기 위해 일부 훈련을 중단했다. 최근 새로운 에이전트 이상 행동을 발견한 뒤 최고 성능 모델의 훈련을 다시 멈췄다.
논문에는 AI 연구의 선구자로 꼽히는 제프리 힌턴과 요슈아 벤지오도 공동 저자로 참여했다. 연구진은 각국 정부가 기업의 AI 연구 자동화 수준을 파악할 수 있도록 정보 공개를 강화하고 고도로 발전한 AI의 불안정한 개발과 사용을 막기 위한 국제 합의를 마련해야 한다고 제안했다.
현재 국제 AI 규제에 대한 입장차는 크다. 도널드 트럼프 미국 대통령은 지난주 유엔(UN) 연설에서 "미국은 AI를 통제하려는 글로벌리스트의 계획을 전적으로 거부할 것"이라고 밝혔다.
논문에 참여한 송 부사장은 "이미 AI 시스템을 이용해 에이전트가 무엇을 하고 있는지 감시해야 하는 단계에 왔다"며 "인간만으로는 이미 충분하지 않다"고 말했다.
