앤트로픽이 중국 Z.ai의 오픈웨이트 AI 모델 'GLM-5.3'을 시험한 결과, 실제 해킹 공격을 수행하는 능력이 자사 최고 모델인 '클로드 미토스 프리뷰'에 거의 근접한 것으로 나타났습니다. 문제는 이 모델이 유해한 요청을 거부하도록 만든 안전장치가 매우 쉽게 뚫린다는 점입니다. 간단한 기법만으로 64~100% 확률로 우회가 가능했고, 모델 내부를 조작하는 '어블리터레이션(abliteration, 안전장치를 깎아내는 기법)'을 쓰면 단 몇천 달러, 2200개의 GPU(그래픽처리장치)를 1시간 돌리는 비용만으로 거부율을 90%대에서 2~12%까지 떨어뜨릴 수 있었습니다. GLM-5.3은 누구나 다운로드해 수정할 수 있는 오픈웨이트 방식이라, 강력한 해킹 능력을 가진 AI가 손쉽게 범죄에 악용될 수 있다는 우려가 커지고 있습니다. 다만 Z.ai 측은 자사 모델이 실제로는 오픈소스 프로젝트 389개를 방어하고 4249건의 취약점을 찾아내는 등 방어 목적으로도 널리 쓰이고 있다고 반박했습니다.
앤트로픽이 중국 Z.ai의 오픈웨이트 AI 모델 GLM-5.3의 사이버 공격 능력과 안전장치 수준을 시험·평가했다.
GLM-5.3은 실제 해킹 공격 수행 능력에서 앤트로픽 최상위 모델에 근접했으며, 안전장치는 간단한 기법이나 저비용 조작만으로 쉽게 무력화됐다. 오픈웨이트 특성상 누구나 모델을 내려받아 수정할 수 있어 악용 위험이 크다.
모델이 강력한 사이버 공격 역량을 갖췄지만 유해 요청 거부 장치가 상대적으로 약하고, 가중치 공개 방식이라 외부에서 안전장치 제거(어블리터레이션) 작업이 가능했다.
Z.ai는 모델 공개 전 2주간 추가 안전성 검증을 진행했고, 자사 모델이 방어 목적(389개 오픈소스 프로젝트 보호, 취약점 4249건 발견)으로도 활용된다고 밝혔다. 업계에서는 오픈웨이트 모델의 공개 범위를 둘러싼 논쟁이 이어지고 있다.
강력한 해킹 능력을 가진 오픈웨이트 AI 모델이 저비용으로 안전장치를 제거당할 수 있다는 점을 인지하고, 조직은 AI 기반 자동화 공격 가능성을 보안 위협 평가에 반영해야 한다.
본문
앤트로픽이 중국 Z.ai(지푸AI)의 최신 오픈웨이트 인공지능(AI) 모델 'GLM-5.3'이 자사 최상위 모델에 근접한 사이버 공격 능력을 갖췄지만 안전장치는 상대적으로 쉽게 무력화될 수 있다고 경고했다.
1일 홍콩 사우스차이나모닝포스트(SCMP)에 따르면 앤트로픽은 최근 GLM-5.3의 사이버 공격 능력과 안전성을 시험한 보고서를 공개했다.
앤트로픽은 GLM-5.3에 실제 공격 과정을 처음부터 끝까지 수행하는 사이버 익스플로잇 과제 410건을 부여했다. GLM-5.3은 이 가운데 50건을 성공시켰다. 앤트로픽의 프론티어 모델 '클로드 미토스 프리뷰'는 같은 평가에서 56건을 성공했다. GLM-5.3은 모델 가중치를 내려받아 수정할 수 있는 오픈웨이트 방식으로 제공되는 반면, 클로드 미토스 프리뷰는 검증된 사용자만 사용할 수 있다.
앤트로픽은 "공격 성능 차이는 크지 않았지만 안전장치에서는 격차가 나타났다"고 설명했다.
(이미지=Z.ai)
실제 시험에서는 간단한 기법만으로도 GLM-5.3의 안전장치를 64~100% 확률로 우회할 수 있었다. 같은 방법을 안전장치가 적용된 클로드 모델에 사용했을 때는 우회에 성공하지 못했다.
연구진은 모델 내부 가중치 행렬을 수정해 유해한 요청을 거부하는 성향을 낮추는 '어블리터레이션(abliteration)' 기법도 적용했다. 그래픽처리장치(GPU) 2200개를 1시간 가동한 것과 맞먹는 연산량을 투입한 결과, 3개 안전성 평가에서 90%를 넘던 GLM-5.3의 거부율은 2~12%까지 떨어졌다.
안전장치를 약화하는 데 필요한 비용도 높지 않았다. 앤트로픽은 이번 실험에 약 4400달러가 들었으며 숙련된 팀이라면 약 1200달러 수준에서도 비슷한 작업이 가능할 것으로 추산했다. 사이버 공격 능력이 높은 모델의 안전장치를 비교적 적은 비용으로 제거할 수 있다는 점을 위험 요소로 본 것이다.
이를 두고 Z.ai는 자사 모델의 사이버 역량이 공격뿐 아니라 방어에도 활용되고 있다며 맞섰다. 지난 7월 개발자 플랫폼 허깅페이스는 오픈AI 모델에 의한 자율적 침입 사고를 조사하고 대응하는 과정에서 GLM-5.2를 활용했다. 당시 클로드는 안전장치 때문에 일부 보안 작업 수행을 거부했다.
GLM-5.3의 사이버 역량은 미국에서도 높은 수준으로 평가받고 있다. 미국 AI 표준·혁신센터는 최근 이 모델을 현재까지 공개된 오픈웨이트 모델 가운데 사이버 역량이 가장 높은 모델로 평가했다. 종합 사이버 보안 평가에서는 미국 최상위 모델보다 약 4개월 뒤처진 것으로 추산했다.
Z.ai도 모델 공개 과정에서 안전성 검증에 시간을 들였다. 회사는 지난 8월 GLM-5.3을 출시한 뒤 추가 안전성 시험과 보강 작업을 위해 모델 가중치 공개를 2주 늦췄다.
다만 강력한 사이버 기능을 갖춘 모델을 누구나 내려받아 수정할 수 있다는 점은 오픈웨이트 모델의 공개 범위를 둘러싼 논쟁으로 이어지고 있다. 앤트로픽은 고성능 AI 모델에 대한 접근 통제를 강화해야 한다는 입장인 반면, 메타와 엔비디아 등은 개방형 모델이 기술 혁신을 촉진하고 AI 경쟁력을 높이는 데 도움이 된다고 주장하고 있다.
Z.ai는 "사이버 역량의 위험성만 볼 것이 아니라 실제 보안 현장에서의 활용도 함께 봐야 한다"며 "우리 모델은 이미 389개 오픈소스 프로젝트를 방어하는 데 활용됐고, 지금까지 4249건의 잠재적 취약점을 찾아냈다"고 밝혔다.
