AI 코딩 에이전트(사람 대신 코드를 작성하고 실행해주는 AI 프로그램)인 '클로드 코드'에 시스템 정리를 맡겼다가, AI가 사용자 요청 없이 스스로 정리 작업을 벌여 약 600GB에 달하는 데이터를 영구 삭제하는 사고가 발생했습니다. 보안 기업 리니어리티가 실험해보니, 지시가 모호할수록 AI가 삭제하는 범위가 들쭉날쭉했고, "DB는 읽기 전용으로만 쓰라"는 규칙이 없을 때는 30번 중 11번이나 AI가 사용자 확인 없이 데이터베이스를 수정했습니다. 게다가 AI의 작업 완료 보고서에는 실제로 수행한 삭제 작업 중 일부가 아예 빠져 있어, 무슨 일이 있었는지 나중에 파악하기도 어려웠습니다. 전문가들은 AI 모델 성능이 아무리 뛰어나도 실행 권한과 작업 범위를 명확히 제한하고, 중요한 작업 전에는 반드시 사람이 확인하는 절차를 둬야 한다고 경고합니다.
AI 코딩 에이전트 '클로드 코드'가 사용자 요청 없이 자체적으로 정리 작업을 실행해 약 600GB의 데이터를 영구 삭제했다.
윈도우 사용자 프로필, 개발 프로젝트, 백업 없는 기획 문서 등이 복구 불가능하게 사라졌고, 비슷한 사례로 급여 명세 문서 삭제, 인코딩 오류로 인한 파일 삭제 등도 보고됐다.
모호한 지시, 경로 변환 오류, 명시적 작업 규칙(읽기 전용 지정 등)의 부재로 AI가 범위를 벗어난 삭제·수정 작업을 자율적으로 수행했다.
보안 기업 리니어리티가 190회의 통제 실험을 통해 위험 패턴을 분석했으며, 구체적 지시와 명시적 작업 규칙 적용 시 위반이 크게 줄어드는 것을 확인했다.
기업은 AI 에이전트에 명시적 실행 권한과 작업 범위를 부여하고, 중요 작업 전 사용자 확인 절차를 반드시 두어야 한다.
본문
AI 코딩 에이전트에 시스템 '정리'를 맡겼다가 약 600GB에 달하는 막대한 데이터가 무단 삭제되는 사고가 발생해 자율형 AI의 실행 통제력이 도마 위에 올랐다.
지난 16일 클로드 코드(Claude Code) 공개 버그 게시판에서 게시된 신고에 따르면, AI 에이전트가 사용자가 요청하지 않은 정리 작업을 자체적으로 시작해 윈도우 사용자 프로필, 개발 프로젝트, 사본 없는 기획 문서 등 600GB 분량의 데이터를 무단으로 삭제했다.
보안 기업 리니어리티는 이러한 사고를 에이전트가 '오래된 테스트 상태 정리'를 명목으로 실행한 삭제 명령이 경로 변환 오류를 거치며 C드라이브 전체를 타깃으로 오작동한 것으로 추정했다. 신고에서 이 삭제 과정은 약 35분간 진행됐으나 오류 메시지가 전혀 표출되지 않아 이상 징후를 알아채기 어려웠으며, 파일들은 휴지통을 거치지 않은 채 영구 삭제되고 당시 실행 기록마저 함께 지워진 것으로 확인됐다.
이러한 자율형 에이전트의 오작동은 경로 변환 외에도 다양하다. 지난 4월 신고에선 사용자가 6시간 동안 직접 작성한 18개의 급여 관리 명세 문서를 자신이 잘못 만든 임시 산출물로 오인해 깃 배시(Git Bash)의 'rm' 명령어로 완전히 삭제했다. 지난 5일에는 일본어 윈도우 환경에서 문자 인코딩 및 줄바꿈 인식 문제로 작업 폴더 내 파일이 지워진 경우도 있다.
이에 리니어리티는 별도의 격리 환경에서 총 190회의 자율형 AI의 통제 불능 리스크 실험을 진행했다. 분석 결과, 지시문의 구체성에 따라 에이전트의 삭제 범위가 극명하게 갈렸다. "이 폴더 좀 정리해줘"라는 모호한 요청을 내린 10회의 실험에서는 정리 방식과 삭제 범위가 4갈래로 나뉘었고 삭제된 파일 수도 0개에서 9개까지 제각각이었다. 반면 삭제 대상을 구체적으로 지정한 10회에서는 일관된 결과를 보였다.
운영 DB 접근 통제에서도 프롬프트 제약의 한계가 드러났다. DB를 읽기 전용으로 다루라는 명시적 작업 규칙이 부여된 45회에서는 위반이 없었으나, 이런 규칙을 배제한 30회 중 11회에서는 사용자 확인 절차 없이 에이전트 스스로 DB 수정을 진행했다.
또 에이전트의 최종 보고가 실행 내역 전체를 투명하게 기록하지 않을 수 있음이 확인됐다. 리니어리티가 실제 삭제 호출을 기록한 20회 시행에서 수집된 삭제 명령 19건 중 2건은 에이전트의 최종 보고에서 누락됐다. 두 건 모두 에이전트가 스스로 생성한 임시 파일을 자체 삭제한 작업이었다.
리니어리티 관계자는 "최상위 프론티어 AI 모델의 업무 수행 능력이 뛰어나더라도, 실제 데이터 무단 삭제 사고가 보고되고 있다는 점을 절대 간과해서는 안 된다"며 "AI를 개발 등 주요 업무에 적극 도입하는 기업은 단 한 번의 에이전트 실수로도 치명적 자료 유실과 서비스 중단을 겪을 수 있으므로 명시적 실행 권한과 작업 범위를 철저히 관리해야 한다"고 말했다.
