구글이 자율형 AI 에이전트(사람 대신 작업을 수행하는 자동화 프로그램)의 이상 행동을 탐지하는 보안 기능 'Agent Anomaly Detection'을 공개했습니다. 이 시스템은 에이전트가 도구를 악용하거나 무한 루프에 빠지거나 허가받지 않은 권한을 사용하는 등의 위험 행동을 자동으로 감지합니다. 탐지 방식은 2단계로 구성되는데, 먼저 통계적으로 이상한 세션을 빠르게 걸러낸 뒤 AI 언어 모델이 해당 세션을 심층 분석해 문제가 맞는지 판별합니다. 탐지 결과는 구글 Security Command Center에 자동으로 보고되며, 기업은 API를 통해 이상 탐지 결과를 받아 후속 동작을 차단하는 등 즉각 대응할 수 있습니다. 현재 Private Preview(제한적 사전 공개) 단계이며 ADK 2.1.0 이상 버전이 필요합니다.
구글이 자율형 AI 에이전트의 이상 행동을 감시하는 보안 레이어 'Agent Anomaly Detection'을 발표했다. 도구 오용, 권한 남용, 무한 루프, 지시 이탈 등 OWASP 에이전틱 Top 10 위협을 커버한다.
AI 에이전트를 업무에 도입한 기업이 에이전트의 예상치 못한 악성·오작동 행동을 탐지·차단하지 못하면 데이터 대량 유출(예: 재고 목록 전체 스크레이핑), 권한 에스컬레이션, 시스템 자원 고갈 등의 피해를 입을 수 있다.
자율형 에이전트는 명시적 오류 없이도 의도치 않은 방식으로 동작할 수 있으며, 기존 보안 도구는 에이전트의 연속적·맥락적 행동 패턴을 분석하기 어렵다.
Agent Anomaly Detection은 경량 통계 레이어와 LLM 기반 추론 레이어를 결합해 비동기적으로 탐지를 수행하며, 결과를 Security Command Center에 게시한다. 애플리케이션은 API를 통해 탐지 결과를 수신하고 ADK 콜백으로 이후 도구 호출을 차단할 수 있다.
AI 에이전트를 Gemini Enterprise Agent Platform 또는 ADK 기반으로 운영 중인 기업은 이 기능의 Private Preview 참여를 검토하고, 에이전트 텔레메트리(OpenTelemetry 추적·로깅) 활성화 여부를 미리 점검해 두는 것이 좋다.
본문
구글의 Agent Anomaly Detection은 Gemini Enterprise Agent Platform의 Agent Runtime에 배포된 자율형 에이전트, 그리고 Python 1.2 이상용 Agent Development Kit(ADK)로 구축된 에이전트를 대상으로 하는 추론 기반 감시·감사 레이어입니다. 구글은 ADK 2.1.0 이상 버전을 권장하며, 현재 Private Preview 단계로 제공됩니다.
Agent Anomaly Detection의 모니터링 대상
Agent Anomaly Detection은 에이전트가 방출하는 트레이스(trace, 실행 기록)를 평가해 에이전트가 의도된 범위를 벗어나 동작하는지 판단합니다. 행동 이상, 의심스러운 의도, 정책 위반을 표시합니다.
각 이상 탐지 결과에는 심각도 수준, 탐지 이유에 대한 평문 설명, 권장 조치가 포함됩니다. 결과는 다른 보안 발견 사항과 함께 분류(triage)할 수 있도록 Security Command Center에 게시됩니다.
Agent Anomaly Detection은 OWASP 에이전틱 Top 10에서 선정된 위험 항목에 대한 탐지기를 포함합니다: 도구 오용(tool misuse), 신원 및 권한 남용(identity and privilege abuse), 에이전틱 연쇄 장애(agentic cascading failures), 이탈 에이전트(rogue agents).
도구 오용에는 안전하지 않은 도구 체이닝(tool chaining, 여러 도구를 연결해 실행하는 방식), 파라미터 조작, 간접 프롬프트 인젝션(prompt injection, 악의적 명령어 삽입) 등의 위험이 포함됩니다. 신원 및 권한 남용에는 동적 신뢰 위임(dynamic trust delegation), 페르소나 위조(persona forgery), 메모리 에스컬레이션(memory escalation), 혼동된 대리인(confused-deputy) 취약점 등에서 비롯된 비인가 행동이 포함됩니다. 에이전틱 연쇄 장애에는 무한 실행 루프, 진동성 재시도, 장애 전파, 피드백 루프 증폭이 포함됩니다. 이탈 에이전트 탐지는 선언된 역할을 벗어나거나, 가드레일(guardrail, 행동 제한 장치)을 우회하거나, 시스템 지시를 이탈하는 에이전트를 대상으로 합니다.
또한 자원 고갈 및 토큰 사용량 급증과 같은 운영 위험도 탐지합니다.
구글의 시니어 소프트웨어 엔지니어 Achuth Narayan Rajagopal은 다음과 같이 설명했습니다. "현재 사용자가 자신의 비즈니스 맥락에 맞게 이상 항목의 의미를 직접 정의할 수 있도록 기능을 개발 중입니다. 이를 통해 사용자는 자연어와 결정론적 규칙을 결합해 에이전트가 기업 특화 비즈니스 지침을 벗어나 동작할 때 이를 표시하는 유연한 이상 탐지기를 작성할 수 있게 됩니다. 아울러 과거 트래픽을 대상으로 새로운 커스텀 비즈니스 로직의 정확도를 검증하는 기능도 제공될 예정입니다."
요구 사항 및 설정
원클릭 프로비저닝을 통해 Agent Anomaly Detection을 활성화하려면 몇 가지 사전 조건을 충족해야 합니다.
로깅 및 옵저버빌리티(observability, 관측 가능성) 버킷은 동일한 US 멀티 리전에 있어야 합니다. ADK를 통해 OpenTelemetry 추적 및 로깅이 활성화되어 있어야 하고, 원시 텔레메트리(raw telemetry)가 프롬프트 입력과 응답 출력을 캡처해야 하며, enable_tracing이 명시적으로 false로 설정되어 있지 않아야 합니다.
지역 스캐너 서비스 계정은 로깅 및 옵저버빌리티 버킷에 대한 충분한 읽기 권한을 보유해야 합니다. 로그 버킷에 대해 Log Analytics와 Observability Analytics도 활성화되어 있어야 합니다. 에이전트는 활성 텔레메트리 데이터 흐름이 있어야 구성 검증 및 등록이 가능합니다.
발견된 에이전트는 모니터링 대상 에이전트로 표시됩니다. 명시적으로 활성화하기 전까지는 로그와 트레이스가 분석되지 않으며 비용도 발생하지 않습니다. 요구 사항을 충족하지 못하는 에이전트는 탐지되지 않습니다.
이상 탐지 방식
탐지 속도, 비용, 커버리지 간의 균형을 맞추기 위해 트레이스와 로그는 레이어별로 분석됩니다. 경량 1차 통과(first pass)에서 모든 트래픽을 통계적 이상 여부로 스캔하고 비정상 세션을 표시합니다. 이후 LLM 기반 추론 레이어가 해당 세션을 심층적으로 분석합니다.
예를 들어, list_inventory 도구를 가진 Inventory Agent를 생각해 봅니다. 사용자가 한 번에 100개 항목을 보여 달라고 요청하고, 에이전트가 전체 카탈로그를 가져오기 위해 서로 다른 오프셋으로 도구를 반복 호출하는 상황입니다.
에이전트는 오류나 명시적 정책 위반을 발생시키지 않을 수 있습니다. 그러나 해당 활동은 여전히 비정상적인 사용 패턴일 수 있습니다. 1차 레이어는 호출 횟수와 반복성을 기준으로 해당 세션을 통계적 이상치로 식별합니다. 2차 레이어는 전체 교환 내역을 검토하고, 대량 배치·오프셋 점프 패턴을 체계적인 스크레이핑으로 식별한 뒤 평문 설명과 함께 판정을 반환합니다. 더 면밀한 검토가 필요한 경우, 3차 호출 단위 레이어가 대화 트레이스 내의 개별 도구 실행, 실행 상태, 파라미터 이력을 분석합니다.
세션 이상 분석 (출처: Google)
이 예시에서 시스템은 95% 확률의 Critical 심각도로 '자원 고갈(Resource exhaustion)' 발견 사항을 생성합니다. 발견 사항에는 판단 근거와 권장 조치가 포함됩니다. 예를 들어, 해당 사용자에 대해 list_inventory 도구의 속도 제한 또는 차단, 인증 검사를 통한 대량 재고 접근 제한, 대형 오프셋 페이지네이션 패턴 경보 설정 등이 권장됩니다.
탐지는 실제 실행 경로 밖에서 비동기적으로 실행되므로 분석 중인 요청에 지연을 유발하지 않습니다. 애플리케이션은 API를 통해 이상 탐지 결과를 수신하고, ADK 콜백 또는 플러그인을 사용해 심각도와 확률을 설정된 임계값과 비교할 수 있습니다. 이를 통해 임계값을 초과한 경우 이후 도구 호출을 차단하거나 다음 턴(turn)을 중단하도록 처리할 수 있습니다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
