AI 에이전트의 시스템 프롬프트는 보안 장치가 아닙니다. 사용자가 교묘한 말로 지시를 우회하면 에이전트는 권한 밖의 데이터까지 꺼내줄 수 있기 때문입니다. AWS와 SANS 연구자들은 접근 제어를 모델이 아닌 인프라 계층에 두어야 한다고 권고합니다. 즉, 사용자의 권한을 기반으로 데이터를 모델에 전달하기 전에 미리 필터링해야 합니다. IBM 연구에 따르면 통제되지 않는 '섀도 AI(Shadow AI, 조직이 파악하지 못한 채 운영되는 AI)'가 높은 수준인 조직은 침해 사고 시 평균 67만 달러를 추가로 지출한 것으로 나타났습니다.
AI 에이전트의 시스템 프롬프트는 프롬프트 인젝션(Prompt Injection, 악의적 지시를 숨겨 AI를 조작하는 공격)이나 사용자 설득으로 우회될 수 있으며, 이를 보안 경계선으로 삼을 수 없음이 지적되었습니다.
에이전트가 민감 데이터에 접근하거나 외부로 데이터를 유출할 수 있고, 섀도 AI가 많은 조직은 침해 사고 비용이 평균 67만 달러 증가한다는 연구 결과가 있습니다.
단일 에이전트가 민감 데이터 접근·외부 통신·비신뢰 콘텐츠 처리 능력을 동시에 보유할 때 리스크가 집중되며, OWASP는 프롬프트 인젝션을 AI 애플리케이션의 최대 위협으로 분류합니다.
AWS와 SANS 전문가들은 도구 호출(tool invocation) 계층에서 기본 차단(default-deny) 정책을 가장 핵심 아키텍처 패턴으로 제시했으며, Cedar·Open Policy Agent 같은 정책 엔진 사용, 고위험 작업의 인간 검토 라우팅, 자격 증명 즉시 취소 등 4계층 동시 억제를 권고합니다.
모델에게 접근 제어를 맡기지 말고, 검색 시점에 사용자 권한 범위로 쿼리를 제한해 결과를 모델 컨텍스트 창에 전달하기 전에 필터링하십시오. 고위험 에이전트부터 계측하고 30일간 기준선 데이터를 수집한 뒤 탐지 규칙을 조정하십시오.
본문
시스템 프롬프트에서 "이 사용자에게 허용된 것만 보여줘"라고 지시받은 AI 에이전트는, 누군가가 말로 설득하는 순간 그 이상을 내줄 수 있습니다. AWS에서 Security Hub·GuardDuty·Inspector를 총괄하는 Gee Rittenhouse와 SANS Institute 펠로우 Eric Johnson은 해결책을 한 계층 아래에서 찾았습니다. 사용자의 권한 범위로 쿼리를 제한하는 작업을 검색 시점에, 즉 기업이 이미 운영 중인 역할 기반(RBAC) 또는 속성 기반(ABAC) 접근 제어 시스템 안에서 수행하고, 결과물이 모델의 컨텍스트 창에 도달하기 전에 필터링해야 한다고 말합니다.
4단계 발전 경로 (출처: SANS)
두 사람은 프롬프트가 "우회·무시·재정의될 수 있다"고 씁니다. 일반 앱 인터페이스로는 조회할 수 없는 기록이라면, 그 사용자를 대신하는 에이전트도 마찬가지로 조회할 수 없어야 합니다.
이 가이던스는 AWS 보안 전문가 세 명과 함께 작성되었으며, 이미 에이전트를 운영 중이거나 개발 중인 기업을 대상으로 합니다. 에이전트는 사용자를 대신해 인증하고, 도구 호출을 연쇄적으로 이어가며, 승인을 기다리지 않고 다단계 작업을 완료합니다. 따라서 잘못된 지시 하나가 요청을 로그에 남기는 시간 안에 운영 데이터에까지 닿을 수 있습니다.
McKinsey는 AI 도입률을 80%, AI 거버넌스 수준을 10%로 집계했습니다. IBM의 2025년 침해 연구에 따르면, 통제되지 않는 섀도 AI(Shadow AI) 수준이 높은 조직은 침해 사고당 평균 67만 달러를 추가로 지출했습니다.
하나의 에이전트에 두어선 안 되는 세 가지 능력
민감 데이터 접근·외부 통신·비신뢰 콘텐츠 노출, 이 세 가지가 단일 에이전트에 집중될 때 리스크가 폭발합니다.
이 조합이 겹치면 에이전트가 데이터 유출 경로가 됩니다. 비신뢰 콘텐츠는 프롬프트 인젝션(Prompt Injection, 평범한 입력처럼 보이는 곳에 숨겨진 악의적 지시)이 유입되는 통로이기 때문입니다. OWASP는 프롬프트 인젝션을 AI 애플리케이션의 최대 위협으로 꼽으며, 에이전트에 도구나 자율성이 전혀 없는 가장 초기 배포 단계에서도 피해가 발생합니다. 세 요소 중 하나라도 단독으로 보유하지 않도록 설계하면 리스크의 대부분이 사라집니다.
저자들이 주목하라고 한 시계
공격 표면 유지 시간(attack surface minutes)은 취약점이 통제 수단에 의해 봉쇄되기 전까지 악용 가능한 상태로 남아 있는 시간을 측정하는 개념으로, 침입자 체류 시간(dwell time)에서 빌려온 아이디어입니다. 이 수치는 아키텍처 결정의 기준이 됩니다. 주기적 스캐닝을 언제 연속 모니터링으로 전환할지, 일괄 알림을 언제 스트리밍 탐지로 바꿀지, 수동 분류를 언제 자동 억제로 대체할지를 판단하는 근거가 됩니다. 에이전트는 밀리초 단위로 행동합니다. 이 지표의 단위가 '분'이라는 것 자체가—저자들 스스로도 인정하듯—억제 측이 얼마나 따라잡아야 하는지를 말해 줍니다.
기준선 확보에는 30일이 필요합니다
사람 사용자를 모델링하도록 구축된 분석 시스템은 에이전트에 그대로 적용되지 않습니다. 트래픽 패턴, API 호출 순서, 리소스 접근 주기를 에이전트 전용 모델로 새로 구축해야 하며, 멀티프로세스 활동을 일으키는 AI 코딩 도구는 정상 동작 중인 기존 탐지 시스템에 이상 징후로 표시될 수 있습니다.
권고 사항은 가장 위험도가 높은 에이전트부터 계측하고, 탐지 규칙을 조정하기 전에 최소 30일의 기준선 데이터를 수집하라는 것입니다. 팀은 1개월치 데이터가 모인 후에 규칙을 조정하며, 가장 위험도가 높은 에이전트는 데이터가 쌓이는 동안에도 계속 운영됩니다.
제어 장치의 위치
"모델은 결코 제어 수단이 아니다"라고 저자들은 씁니다. 실무적으로는 PII(개인식별정보)를 외부로 내보내기 전에 탐지·제거하는 콘텐츠 필터, 에이전트의 자격 증명으로는 접근할 수 없는 불변 스토리지에 보관하는 백업, 그리고 각 도구 호출을 해당 호출이 접촉하는 데상과 오류 발생 시 영향을 기준으로 평가하는 정책 엔진을 의미합니다. 저자들은 도구 호출 계층에서의 기본 차단(default-deny)을 에이전트 보안의 가장 핵심적인 아키텍처 패턴으로 꼽으며, 이를 대규모로 운영하는 방법으로 Cedar와 Open Policy Agent를 언급합니다. 신뢰도 점수와 무관하게 고영향 작업은 인간 검토 단계로 라우팅되고, 신뢰도가 높은 저영향 작업은 무감독으로 실행됩니다.
문제가 발생했을 때 억제는 네 계층에서 동시에 작동합니다. 자격 증명 취소 및 세션 정지, 외부 통신 차단, 도구 접근 비활성화 및 상태 동결, 데이터 제한 및 로깅 강화가 그것입니다. 회로 차단기(circuit breaker)는 임계값 위반 시 사람의 확인을 기다리지 않고 에이전트를 즉시 정지시킵니다. 사람과 달리 경고를 받은 에이전트는 스스로 멈추지 않기 때문입니다. 사후에 의사결정 과정을 재구성할 수 있도록 모든 프롬프트·도구 호출·응답은 불변 스토리지에 기록됩니다.
도구 호출 계층의 기본 차단은 다른 방어선이 무너질 때도 작동하는 최후의 보루입니다. 모델이 오작동하는 동안에도, 프롬프트가 오염된 동안에도, 행동 기준선이 아직 채워지는 동안에도 이 검사는 유효합니다. 나머지 프레임워크는 이 검사가 실행될 때까지 시간을 버는 역할을 합니다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
