Mandiant와 Google 위협 인텔리전스 그룹(GTIG)이 발표한 보고서에 따르면, 기업에서 활용하는 AI 에이전트가 새로운 사이버 보안 위협의 경로가 되고 있습니다. 공격자들은 AI를 이용해 취약점을 찾고, AI 개발 도구(코딩 보조 AI, 보안 스캐너 등)에 악성 명령을 몰래 심는 '프롬프트 인젝션(AI에게 의도하지 않은 명령을 내리는 공격)' 기법을 활용하고 있습니다. 실제로 한 기업에서는 AI 에이전트가 오작동으로 1시간도 안 되어 1만 5천 건 이상의 API 호출을 반복해 약 5만 달러(한화 약 7천만 원)의 클라우드 요금이 발생하기도 했습니다. 공격자가 없어도 통제 미흡만으로 심각한 피해가 생길 수 있는 만큼, AI 사용 범위와 접근 권한에 대한 명확한 거버넌스와 기술적 통제가 필요합니다. 기업은 AI 소프트웨어 공급망 전반에 걸쳐 보안을 강화하고, AI 에이전트의 행동을 실시간으로 모니터링해야 합니다.
Mandiant·GTIG 보고서는 기업 AI 에이전트가 프롬프트 인젝션, AI 공급망 침해, 악성 MCP 패키지 등을 통해 내부 정찰·횡적 이동·샌드박스 탈출의 통로로 악용되고 있음을 밝혔다. 2025년 5월에는 AI가 개발한 제로데이 익스플로잇이 최초로 사이버 범죄에 실제 활용된 사례도 확인됐다.
내부 코드 저장소와 CI/CD 파이프라인 데이터가 외부로 유출될 수 있으며, AI 에이전트의 통제 실패만으로도 수만 달러의 금전적 손실과 비즈니스 중단이 발생할 수 있다. AI 서비스 자격증명 탈취, 독점 AI 데이터 유출 등의 피해 사례도 보고됐다.
프롬프트 인젝션, 부적절한 파일 권한, 취약한 접근 통제, AI 소프트웨어 공급망(패키지·모델·확장 훅) 오염이 주요 원인이다. AI 에이전트에 부여된 과도한 권한과 실행 루프에 대한 제한 미비도 문제로 지적됐다.
Mandiant는 AI 사용 범위·접근 시스템·허용 위험에 대한 거버넌스 수립, 공급망 전반의 보안 확장, SBOM(소프트웨어 구성 요소 목록) 자동화, 에이전트 토큰 사용·API 호출·네트워크 이그레스 등 실시간 텔레메트리 수집을 권고했다.
AI 에이전트에는 최소 권한 원칙을 적용하고 실행 루프 제한을 설정해야 한다. SOC에서 AI를 활용할 때는 복잡한 위협 분석에는 고성능 모델, 알림 파싱 등 단순 작업에는 경량 모델을 구분해 비용과 효율을 동시에 관리해야 한다.
본문
조직들은 API 호출을 실행하고, 프로덕션 구성을 최적화하며, 하이브리드 클라우드 환경 전반의 텔레메트리를 분석하는 자율 AI 시스템을 도입하고 있다. 동시에 공격은 직접적인 프롬프트 조작에서 간접 프롬프트 인젝션(Indirect Prompt Injection)과 AI 공급망 침해로 확장되며 보안 경계를 허물고 있다.
Mandiant의 최신 AI 위험 및 복원력(AI Risk and Resilience) 보고서는 Mandiant와 Google 위협 인텔리전스 그룹(GTIG)의 관측을 바탕으로, 오염된 데이터 소스·모델 의존성·확장 훅(extension hook)이 신뢰할 수 있는 에이전트를 내부 정찰, 횡적 이동(lateral movement), 또는 샌드박스 자율 탈출의 통로로 바꿀 수 있다고 경고한다.
"이러한 자율적 위협에 대응하려면 명확하게 식별된 적응형 신원 통제(identity control)로의 전환, 방어 속도 가속화, 그리고 SOC(보안운영센터)를 실시간 행동 텔레메트리 중심으로 재편하는 것이 필요합니다"라고 Mandiant는 밝혔다.
위협 행위자들의 AI 활용 방식
공격자들은 운영 작업을 AI에 위임하고, 모델이 의사결정에 참여하며 공격자가 단계 사이를 이동하도록 돕는 다단계 공격에 LLM(대형 언어 모델)을 활용하고 있다. 일부는 상용 AI 플랫폼의 안전장치와 결제 제한을 우회하기 위해 미들웨어, 프록시 릴레이, 자동화된 등록 시스템을 구축하고 있다.
GTIG는 위협 행위자들이 페르소나 기반 탈옥(persona-driven jailbreaking) 및 취약점 발견·악용을 지원하는 특화 보안 데이터셋 등 취약점 연구에 AI를 사용하는 것을 관측했다.
공격자들은 소프트웨어 공급망 기법을 AI 도구에 적용하고 있다. 2월에는 VirusTotal이 백도어·드로퍼·인포스틸러·원격 접근 도구를 탑재한 채 정상적인 자동화 패키지로 위장한 악성 OpenClaw 스킬을 발견했다.
그다음 달, Mandiant는 UNC6780(TeamPCP로도 알려진 그룹)과 연계된 공급망 침해 사고에 대응했다. 이 그룹은 AI 서비스 자격증명과 독점 AI 데이터를 탈취했으며, AI 코딩 보조 도구와 LLM 기반 보안 스캐너를 대상으로 한 프롬프트 인젝션 등의 기법을 사용했다.
5월에는 GTIG가 사이버 범죄자가 AI가 개발한 제로데이 익스플로잇을 대규모 익스플로잇 캠페인에 사용한 최초의 공개 확인 사례라고 밝혔다. 해당 취약점은 널리 쓰이는 오픈소스 관리 도구의 이중 인증(2FA)을 우회할 수 있었다.
레드팀 테스트가 드러낸 것들
Mandiant의 공격적 보안 테스트에 따르면, 프롬프트 인젝션은 기업 AI 배포 환경에서 여전히 주요 공격 벡터이며, 부적절한 파일 권한과 불충분한 접근 통제 문제도 함께 나타나고 있다.
한 평가에서 테스터들은 코드 저장소와 CI/CD 파이프라인을 관리하는 내부 AI 어시스턴트를 조작했다. 그들은 해당 AI에게 자신이 공인된 보안 테스트에 참여하고 있다고 믿게 한 뒤, 자신들이 통제하는 외부 GitHub 저장소의 개인 액세스 토큰(PAT)을 제공했다.
GitHub가 승인된 도메인이었기 때문에 어시스턴트는 민감한 내부 저장소를 클론해 외부 계정으로 푸시했다. 이 테스트는 AI 에이전트가 정상적인 권한을 남용하도록 조작될 수 있음을 보여준다.
기업용 AI 통제 방안
Mandiant는 조직이 AI 사용 방식, 접근 가능한 시스템, 허용 가능한 위험에 대한 거버넌스 및 기술적 통제를 갖춰야 한다고 밝혔다. 보호 범위는 AI 소프트웨어 공급망 전반으로 확장돼야 하며, 제3자 AI 서비스를 사용하는지, 모델을 애플리케이션에 통합하는지, 또는 모델을 직접 훈련·운영하는지에 따라 달라져야 한다.
AI에 대한, AI를 위한 AI 거버넌스 (출처: Mandiant)
통제가 미흡하면 공격자 없이도 피해가 발생할 수 있다. 한 사례에서 회계 에이전트가 무한 실행 루프에 빠져 1시간도 안 되어 1만 5천 건 이상의 고비용 API 호출을 수행했고, 약 5만 달러의 클라우드 요금이 발생하며 진행 중인 비즈니스 트랜잭션을 중단시켰다.
오픈웨이트(open-weight) 모델은 데이터셋·아키텍처·훈련 코드에 대한 정보가 제한될 수 있어 이를 운영하는 조직에게 추가적인 책임을 부여한다.
AI 개발 파이프라인 보안
조직은 안전한 소프트웨어 개발 관행을 AI 엔지니어링에도 적용하고, 모델·애플리케이션·서비스의 인벤토리를 유지해야 한다. 자동화된 SBOM(소프트웨어 구성 요소 명세서, Software Bill of Materials)은 개발부터 프로덕션까지 구성 요소와 의존성을 추적하는 데 도움이 된다.
MCP 서버, 제3자 API, 동적 에이전트 지시는 공격 표면을 더욱 확장한다. 방어 담당자는 에이전트 토큰 사용량, 교차 애플리케이션 API 호출, 애플리케이션 활동, 민감한 자산 접근, 네트워크 이그레스(외부 전송)를 포함한 텔레메트리를 수집해야 한다.
SOC에서 AI 에이전트를 활용하면 보안 운영 속도를 높일 수 있지만 컴퓨팅 비용도 증가한다. 조직은 AI 워크로드 비용을 추적하고 AI가 가장 큰 가치를 제공하는 보안 업무에 예산을 우선 배분해야 한다.
보안 팀은 작업에 맞는 모델을 선택해 비용을 관리할 수 있다. 소형 모델은 알림 파싱이나 지표 확인 같은 정기적인 업무에 사용하고, 더 강력한 모델은 복잡한 조사 및 위협 헌팅에 한해 활용할 수 있다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
