해커들, 대규모 자격증명 탈취를 위한 AI 프레임워크 구축

위협 행위자들이 AI 기반 코딩 어시스턴트에서 벗어나, 공격의 모든 단계를 자동화하는 멀티에이전트 프레임워크로 빠르게 전환하고 있다.

Mandiant의 사고대응(IR) 인게이지먼트 텔레메트리, 위협 행위자 추적, 실시간 플랫폼 방어 데이터를 바탕으로, Google 위협 인텔리전스 그룹(GTIG)은 AI 에이전트가 여러 공격 과제를 조율하고, 실패를 해결하며, 사람의 개입을 최소화한 채 행동을 조정하는 사례를 관찰했다.

GTIG는 다음과 같이 밝혔다. "지난 분기 동안 위협 행위자들은 단순한 프롬프트 기반 LLM(대형 언어 모델) 상호작용을 넘어, AI 역량을 공격 라이프사이클의 여러 단계에 통합하기 시작했다."

"전통적인 스크립트 기반 자동화는 오랫동안 위협 행위자 작전의 핵심이었지만, 이제 그룹들은 이러한 워크플로우를 점점 업그레이드하여, 복잡한 작업을 추론하고 사람의 감독 없이 동적으로 의사결정을 내릴 수 있는 고도로 자율적인 시스템을 만들고 있다."

한 사례에서는, 금전적 동기를 가진 공격자가 조직의 클라우드 인프라를 침해하고 자율적인 멀티에이전트 프레임워크를 배포했다.

Google에 따르면, 위협 행위자는 AI 코딩 챗봇, 프롬프트, 마크다운 에이전트 지시문을 활용해 6시간도 채 되지 않아 대규모 자격증명 탈취 캠페인을 기획·구축·배포했다.

공격 다이어그램

출처: Google

AI 에이전트들은 취약점 스캔 파이프라인을 관리하고, 수천 건의 서드파티 자격증명을 탈취했으며, 실시간으로 문제를 해결하고, IP 주소를 교체하고, 탐지를 피하기 위해 침해된 정상 클라우드 환경을 통해 공격 트래픽을 우회시켰다.

이 접근 방식은 "사람의 개입(human-in-the-loop)" 지연 시간을 크게 줄이고 방어자가 대응할 수 있는 시간을 단축시켰다.

또 다른 사례에서는, 연구자들이 "Recon"이라는 자동화된 정찰 및 자격증명 관리 프레임워크를 호스팅하는 노출된 C2(명령·제어) 서버를 발견했다.

해당 서버의 파일에는 AI 에이전트에 대한 지시문, 지식 파일, 그리고 API 키 등 2만 3,800개 이상의 탈취된 비밀 정보를 실시간으로 관리하는 프레임워크와 관련된 OpenClaw 아티팩트가 포함되어 있었다.

Recon 패널

출처: Google

GTIG 보고서는 중국 연계 사이버첩보 행위자들이 "AI 기반 개발 도구를 실험하여 AI 지원 자동화 익스플로잇 및 사후 익스플로잇 파이프라인을 구축"한 다른 사례도 언급하고 있다.

연구자들은 러시아 기반의 UNC5792와 같은 다른 첩보 그룹들도 AI 모델을 통합해 정부가 관심을 갖는 정보를 찾기 위해 Telegram 채널을 검색하는 자동화 모니터링 봇을 운영하고 있다고 밝혔다.

그러나 GTIG는 완전 자율적인 해킹이 아직 광범위하게 확산되지는 않았으며, 위협 행위자들이 실제 표적을 대상으로 제로데이 취약점 발굴 및 네트워크 익스플로잇을 위한 완전 자율 파이프라인을 배포하는 사례는 관찰하지 못했다고 강조했다.

또한 Google은 자사 AI 모델인 Gemini가 이러한 남용 사례 다수를 조기에 탐지하고 안전 프로토콜에 따라 대응함으로써, Google이 추가 조치를 취하고 캠페인을 교란하며 관련 계정을 차단할 수 있었다고 밝혔다.

AI 도구 남용은 UNC6780(TeamPCP)이 수행한 공급망 공격, 1억 건의 프롬프트가 동원된 Gemini AI 정제(distillation) 작전, 그리고 탈취된 AI 계정 자격증명 및 API 키 거래 시장의 성장에서도 관찰됐다.

또한 국가 배후 그룹들은 정찰, 피싱, 악성코드 개발, 익스플로잇, 사후 익스플로잇, 데이터 처리, 선전 활동에 지속적으로 AI를 활용하고 있다.