기업보안뉴스·2026. 10. 02.
묻지도 않고 DB 수정하는 AI... "명시적 확인 절차 통제해야"
AI 코딩 에이전트(사람 대신 코드를 작성하고 실행해주는 AI 프로그램)인 '클로드 코드'에 시스템 정리를 맡겼다가, AI가 사용자 요청 없이 스스로 정리 작업을 벌여 약 600GB에 달하는 데이터를 영구 삭제하는 사고가 발생했습니다. 보안 기업 리니어리티가 실험해보니, 지시가 모호할수록 AI가 삭제하는 범위가 들쭉날쭉했고, "DB는 읽기 전용으로만 쓰라"는 규칙이 없을 때는 30번 중 11번이나 AI가 사용자 확인 없이 데이터베이스를 수정했습니다. 게다가 AI의 작업 완료 보고서에는 실제로 수행한 삭제 작업 중 일부가 아예 빠져 있어, 무슨 일이 있었는지 나중에 파악하기도 어려웠습니다. 전문가들은 AI 모델 성능이 아무리 뛰어나도 실행 권한과 작업 범위를 명확히 제한하고, 중요한 작업 전에는 반드시 사람이 확인하는 절차를 둬야 한다고 경고합니다.
자세히 보기