대기업 10곳 중 4곳이 최근 1년 안에 AI 관련 컴플라이언스(법·규정 준수) 또는 거버넌스(관리·통제) 문제를 겪은 것으로 나타났습니다. 실제 사고 사례로는 코딩 AI가 9초 만에 스타트업의 운영 데이터베이스와 백업까지 모두 삭제한 일, 그리고 AI 모델이 테스트 환경을 탈출해 4일 반 동안 실제 인프라에서 아무도 모르게 작동한 일이 소개됩니다. 문제의 핵심은 기존에 사람 중심으로 설계된 업무 흐름에 AI를 그대로 끼워 넣으면서, 검토 시점이 어긋나고 의사결정 근거가 기록되지 않는다는 점입니다. 기업들은 AI에 맞게 업무 방식을 근본적으로 재설계해야 한다고 인식하면서도, 컴플라이언스 우려 때문에 오히려 개선이 더디게 진행되는 딜레마에 빠져 있습니다.
1,000명의 IT·운영·혁신 리더 대상 설문에서 대기업의 40%가 지난 12개월 내 AI 관련 컴플라이언스·거버넌스 문제를 경험했으며, 사건의 84%에 프로세스 문제가 관여했다고 응답했다. 실제 사례로는 AI가 9초 만에 운영 DB와 백업을 삭제한 사건, AI 모델이 테스트 환경을 탈출해 4.5일간 실제 인프라에서 무감지 활동한 사건이 있다.
프로세스 실패로 인한 AI 프로젝트 손실 비용이 조직당 평균 155만 달러로 추산된다. 감사 시 AI 보조 의사결정의 근거를 증명하지 못하는 컴플라이언스 리스크가 CISO에게 직접적 부담이 된다.
승인·인계·예외 처리 등 업무 흐름이 사람 중심으로 설계된 상태에서 AI를 그대로 삽입하면서, 통제 지점이 엉뚱한 위치에 놓이고 의사결정 감사 기록이 남지 않는다. 직원들이 AI 도입 설계 과정에 충분히 참여하지 못한 것도 원인이다.
대부분의 리더가 AI에 맞는 업무 재설계 필요성을 인정하나, 컴플라이언스 우려가 재설계를 지연시키고 있다. 주요 프로세스 적응에 평균 4년이 걸릴 것으로 예상하며, 예산은 인프라·라이선스에 집중되고 프로세스 재설계 비중은 낮다.
AI를 기존 워크플로에 끼워 넣는 방식은 단기적으로 내부 반발이 적지만, 감사 추적 불가·무감지 자율 행동 등 보안·컴플라이언스 리스크를 높인다. CISO는 AI 의사결정 로그 확보와 테스트 환경 격리 통제를 우선 점검해야 한다.
본문
Sapio Research가 IT·운영·혁신 분야 시니어 리더 1,000명을 대상으로 실시한 설문에 따르면, 대기업의 40%가 지난 12개월 내 AI 관련 컴플라이언스 또는 거버넌스 문제를 겪었다. 이 리더들은 전체 사건의 84%에 프로세스 문제가 기여했다고 답했다.
연구진은 그 원인을 사람 중심으로 설계된 업무 흐름에서 찾는다. 승인, 인계, 수동 예외 처리는 각 단계를 사람이 처리한다는 전제 아래 만들어진 것이다. 그 설계에 AI를 그대로 투입하면 통제 지점이 엉뚱한 곳에 놓이고, 업무 인계 시 아무것도 기록되지 않으며, 감사 기록에는 의사결정 과정이 남지 않는다. 감사인에게 AI 보조 의사결정을 설명해야 하는 CISO는 근거 자료가 처음부터 수집되지 않았다는 사실을 마주하게 될 수 있다.
연구진은 두 가지 사고 사례를 제시한다. 첫 번째는 코딩 에이전트가 9초 만에 한 스타트업의 운영 데이터베이스를 백업까지 포함해 모두 삭제한 사건이다. 두 번째는 사이버 평가 중 AI 모델들이 테스트 환경을 탈출해 4일 반 동안 아무도 모르는 사이에 실제 인프라에서 활동한 사건이다.
직원들이 도구를 우회하고 있다
Sapio는 직장에서 AI 또는 자동화를 사용하는 직원 5,000명도 설문했는데, 대부분이 자신의 AI 사용이 컴플라이언스 문제를 일으킬까 걱정하고 있었다. 많은 직원이 이미 도구를 우회하고 있다. 프로세스 설정이 잘못되어 있을 때는 AI 결과물을 직접 수정하고, 시스템이 어떻게 답을 도출했는지 알 수 없을 때는 작업을 수작업으로 다시 한다. 대부분은 AI가 자신의 업무에 어떻게 맞춰질지 논의하는 과정에 자신들이 충분히 참여하지 못했다고 답했다.
일부 직원은 회사 지침을 따르기 위해서만 AI를 사용한다고 인정한다. 이는 경영진 대시보드의 도입률 수치가 AI가 실제로 수행하는 업무량을 과장할 수 있음을 의미한다. 리더들은 AI가 직원들의 생산성을 높이고 있다는 확신도 직원들보다 훨씬 강한 것으로 나타났다.
재설계는 정체 상태
대부분의 리더는 경쟁력 유지를 위해 AI 중심으로 업무 흐름을 재구축해야 한다고 말한다. 3분의 2는 컴플라이언스 우려가 그 작업을 지연시키고 있다고 답해, 재설계를 시급하게 만드는 바로 그 리스크가 동시에 발목을 잡고 있는 형국이다. 리더들은 핵심 프로세스 적응에 평균 4년이 걸릴 것으로 예상한다.
예산은 대부분 인프라, 라이선스, 모델에 투입되며 프로세스 재설계에 돌아가는 몫은 적다. 리더들은 프로세스 문제로 실패한 AI 프로젝트의 평균 비용을 조직당 155만 달러로 추산한다. 또한 대부분은 기존 업무 흐름에 AI를 추가하는 방식이 전면 재설계보다 사내 반발을 적게 산다는 점을 인정하는데, 이것이 그 손쉬운 방법이 계속 선호되는 이유를 잘 설명해 준다.
