보안 리더들이 대신 물어봐야 할 AI 보안 질문

이번 Help Net Security 인터뷰에서 Gremlin의 보안 책임자 Frederic Bull은 AI가 보안팀에 의미하는 바를 이야기합니다. 모델 학습 데이터를 묻는 것이 왜 일부에 불과한지, 그리고 AI 에이전트에서도 최소 권한 원칙과 접근 제어가 여전히 중요한 이유를 다룹니다.

또한 AI가 공격자와 방어자 사이의 기술 격차를 어떻게 좁혔는지, 같은 인원으로 약 9배 많은 취약점을 처리한 경험, 그리고 자신감 있지만 틀린 AI 출력을 잡아낼 경험을 갖춘 인재를 채용에서 우선시하게 된 이유도 살펴봅니다.

다른 보안 리더들과 대화할 때, 모두가 물어보지만 정작 더 중요한 질문은 아무도 하지 않아서 답하기 지겨운 AI 관련 질문이 있다면 무엇인가요?

제가 가장 자주 듣는 질문은 "이 모델은 어떤 데이터로 학습됐나요?"입니다. 이 질문의 근저에 있는 우려는 기밀성입니다. 기업들은 자사 지식재산이 AI의 일반 지식의 일부가 되지 않기를 원합니다. 이는 타당한 우려이며, 이를 가볍게 여기는 것은 어리석은 일입니다. 하지만 여기서 멈추면 진정한 계층적 보안 접근 방식에 허점이 생깁니다.

훨씬 덜 물어보는 질문은 "해당 데이터의 권한과 무결성을 어떻게 유지하는가"입니다. 그리고 우리에게는 명확한 답이 있습니다. 수십 년간 인증 및 접근 제어를 통해 구현되는 최소 권한 원칙은 안전한 환경을 보장하는 데 핵심이었으며, 지금도 마찬가지입니다. OIDC/OBO(위임 토큰)를 통한 세션 기반 RBAC(역할 기반 접근 제어)와 상황에 맞는 적절한 권한 범위 설정 같은 기술은 AI가 기대되는 수준을 초과하지 않도록 보장합니다. 이는 수십 년간 기업 보안 프로그램의 근간이었으며, 오늘날에도 똑같이 중요합니다.

세션 기반 RBAC와 적절히 범위가 설정된 권한 같은 현대적 솔루션을 계속 구현함으로써, AI 에이전트가 기술적 능력을 절대 초과하지 않도록 보장할 수 있습니다. 에이전트 간 통신이 더욱 보편화되면서, 이러한 전략은 보다 엄격한 '사람이 루프 안에 있는(human-in-the-loop)' 아키텍처를 가능하게 하여, 운영자가 피해가 발생하기 전에 문제를 인식하고 수정할 수 있는 위치에 놓이게 합니다.

3년 전과 비교해 공격자의 툴킷이 어떻게 달라졌는지 설명해 주세요. 무엇이 새로워졌고, 무엇이 단순히 빨라진 것인가요?

속도 증가의 중요성을 과소평가하고 싶지는 않습니다. 궁극적으로 그것이 현실 세계에서 위험이 드러나는 방식이며, 속도는 매우 중요합니다. 국가 행위자들조차 다른 이들이 결함을 발견하기 전에 찾아서 악용하기 위해 시간과 경쟁합니다. 지난 한 해 동안 취약점 보고가 급격히 증가했으며, NVD(미국 국가취약점 데이터베이스)는 분류 기준을 재조정해야 했고 상당수의 보고된 취약점이 미분류 상태로 남아 있습니다. 단순히 늘어난 보고 물량을 감당하지 못하는 것입니다.

그러나 위험이 높아진 메커니즘은 단순한 속도가 아니라, 보안 업계가 역사적으로 누려온 능력 비대칭의 침식입니다. 익스플로잇을 허용하는 조건을 찾고, 그 익스플로잇을 설계·테스트하고 실제로 사용하는 것은 통상적으로 상당한 능력과 전문성을 필요로 했습니다. AI는 그 비대칭을 훨씬 균등한 방향으로 좁혀 놓았습니다.

이제 악용 가능한 상황을 더 빠르게 찾을 수 있을 뿐 아니라, 그것을 활용하는 방법을 원래 능력이 부족했던 이들도 고안하고 실행할 수 있으며, 점점 더 능력 있는 이들보다 빠르게 해내고 있습니다. AI가 받는 맥락 데이터가 늘고 모델이 이러한 패턴을 더 잘 인식하게 되면서 이것은 더욱 중요한 요소가 될 것입니다. 정부 통제 같은 외부 요인을 배제하면, 대칭이 달성되고 결국 인간의 본성에 관한 문제가 될 가능성이 있습니다. 본질적으로 레드팀의 규모가 블루팀에 비해 얼마나 큰가의 문제가 됩니다.

보안팀은 만성적으로 인력이 부족합니다. AI가 그 격차를 줄여줬나요, 아니면 격차의 모습만 바꿔놓은 건가요?

인력 문제는 항상 논쟁적인 주제이며, 그것은 바뀌지 않을 것 같습니다. 하지만 저는 인원 수가 AI 기반 위험에 대한 답이라고 생각하지 않습니다. Gremlin에서는 지난 한 해 동안 전년도 대비 약 9배 많은 취약점을 처리했으며, 같은 기간 동일한 인력을 유지했습니다. 이는 분명히 프로세스에 공백을 만들었습니다. AI 도구, 주로 LLM과 지원 하네스를 활용하여, 추가 인원 없이 그 증가량을 감당하면서 동시에 평균 처리 시간(TTR)을 약 5% 단축할 수 있었습니다.

이처럼 대폭 늘어난 물량을 짧은 시간 안에 감당하는 것은 결코 쉽지 않았으며, 그 시스템을 설계하고 LLM이 제공하는 것을 활용하며 시스템이 발전함에 따라 최신 상태를 유지하기 위해 경험 있는 인간 엔지니어가 필요했습니다. 하지만 적들이 사용하는 것과 같은 도구를 받아들이고 그 도구 주변의 인프라에 투자함으로써 지금까지 성과를 거두고 있습니다.

AI가 보안 인재 채용 기준을 바꾸고 있나요? 5년 전보다 지금 더 중요해진 역량과 덜 중요해진 역량은 무엇인가요?

네, 그리고 이것이 놀랍지는 않을 것입니다. 현재 AI 시스템은 많은 초급 분석가나 엔지니어 수준에 맞먹는 결과물을 꽤 잘 만들어내며, 대부분의 경우 자신감 있지만 틀린 출력을 인식하고 수정할 경험 있는 운영자만 있으면 됩니다. 이를 위해서는 다양한 기술 시스템뿐 아니라 많은 보안 프로그램을 이끄는 컴플라이언스 및 거버넌스 요건에 대한 광범위한 지식과 경험이 필요합니다. 이는 전체 인재의 기준을 높이고, 신규 인재가 이러한 AI 시스템을 효과적으로 운영하는 데 필요한 경험을 쌓기 점점 어려워지는 격차를 만들어냅니다.

또한 AI 시스템의 대부분 또는 모든 입력이 AI 시스템 자체에 의해 생성될 때의 세대적 처리와 모델 붕괴 가능성에 대한 광범위한 우려도 있습니다. 마치 집단에서 유전적 다양성이 필요하듯이, LLM도 오늘날 인간의 큐레이션을 필요로 하는 입력 다양성이 필요합니다. 현재 우리는 이것을 노동 문제와 데이터 문제라는 별개의 문제로 봅니다. 그러나 역사적으로 돌아보면 노동이 시스템에 새로운 입력을 제공하는 방식이었는데, 정작 그것이 가장 필요한 시점에 인력을 줄이고 있는 것처럼 보입니다.

최근 이 분야에서 가장 기대되는 것, 단순한 마케팅 언어가 아닌 것이 있다면 무엇인가요?

애플리케이션 수준 보안에 미치는 영향이 흥미롭다고 생각합니다. AI가 선별된 기준 및 정책 목록에 대해 평가하고 우려 사항을 실시간으로 드러내며 지침을 제공함으로써, 병목이 되는 검토 기간이 아닌 SDLC(소프트웨어 개발 생애주기) 훨씬 이른 단계에서 보안 우려를 반영할 수 있게 됐습니다. 이를 통해 개발자들은 전문가의 검토를 받으며 솔루션을 제안하고 구현할 수 있으며, 추가적인 아키텍처 및 설계 요건이 다시 개발자에게 내려오는 것을 자주 피할 수 있습니다.

더 이상 변화에 뒤처지지 않으려고 따라가는 느낌이 들지 않습니다. 이전에는 외부 개발팀에 의존했던 많은 기본 업무가 이제 우리 팀의 내부 사이드 프로젝트가 됐습니다. 명시적인 검토를 통해 'LLM이 이것을 해줄 수 있다'는 것을 알기 때문이며, 이것이 우리 업무 속도에 상당한 차이를 만들고 있습니다.