AWS가 AI 모델이 보안 취약점을 얼마나 정확하게 탐지하는지 측정하는 'Deception Benchmark'를 공개했습니다. 이 벤치마크는 실제로 위험한 코드와 위험해 보이지만 안전한 코드를 AI가 얼마나 잘 구별하는지 평가합니다. 테스트 결과, 12개 AI 모델 모두 오탐률(안전한 코드를 위험하다고 잘못 판단하는 비율)이 최소 41%에 달해 기업 보안팀이 설정한 10% 기준을 만족하는 모델이 하나도 없었습니다. AI에게 취약점이 실제로 악용 가능한지 증명하도록 요구하면 오탐은 줄지만, 반대로 실제 취약점을 놓치는 비율이 늘어나는 트레이드오프가 발생했습니다. 보안팀이 AI 도구를 취약점 탐지에 활용할 때 오탐으로 인한 피로와 신뢰 저하 문제를 주의해야 함을 시사합니다.
AWS가 AI 모델의 보안 취약점 탐지 정확도를 평가하는 'Deception Benchmark'를 공개했다. 16개 프로그래밍 언어, 70개 이상의 CWE 범주에 걸쳐 14,822개 샘플로 구성되며, 5개 공급사의 AI 모델 12개를 평가했다.
테스트된 모든 AI 모델이 오탐률(FPR) 10% 미만이라는 최소 기준을 충족하지 못했다. 직접 프롬프트 방식에서 모델들은 안전한 코드의 41~99%를 취약하다고 잘못 판단했으며, 이는 보안팀의 경보 피로와 실제 위협에 대한 신뢰도 저하로 이어질 수 있다.
AI 모델들은 코드 자체의 위험 패턴은 인식하지만, 외부 보안 통제(예: Kubernetes 네트워크 정책 등)가 실제 악용을 차단하는 경우를 제대로 이해하지 못했다. 코드와 그 주변 보호 메커니즘을 함께 이해하는 능력이 부족한 것이 핵심 원인이다.
AWS는 벤치마크 데이터셋과 평가 방법론을 공개해 연구자들이 재활용할 수 있도록 했다. 레이블(정답)은 공개하지 않고 AWS에 예측값을 제출하면 검증된 점수를 받는 방식으로, 벤치마크 과적합을 방지한다.
AI 기반 취약점 탐지 도구 도입 시 오탐률을 반드시 별도로 검증해야 하며, 단순히 취약점 검출률(재현율)만으로 도구의 성능을 평가해서는 안 된다. AI에게 '실제 악용 가능성'을 증명하도록 요구하는 방식이 오탐 감소에 효과적이나, 미탐(실제 취약점을 놓침) 증가와의 균형을 고려해야 한다.
본문
AWS의 Deception Benchmark는 AI 모델이 진짜 보안 취약점과 위험해 보이지만 안전한 코드를 얼마나 잘 구별하는지 측정합니다. AWS는 이 벤치마크를 공개해 연구자들이 샘플 생성·정제 비용을 반복 지출하지 않고 데이터셋과 평가 프로세스를 바로 활용할 수 있도록 했습니다.
보안팀은 취약점 분류, 침투 테스트, 위협 모델링, 침해사고 대응, 코드 리뷰 등에 AI를 활용합니다. 오탐률이 높으면 작업량이 늘고, 경보 피로가 쌓이며, 실제 탐지 결과에 대한 신뢰도가 떨어집니다.
이 벤치마크는 16개 프로그래밍 언어와 70개 이상의 CWE(Common Weakness Enumeration, 공통 취약점 분류 체계) 범주에 걸쳐 14,822개 샘플을 포함하며, AWS는 5개 공급사의 AI 모델 12개를 평가했습니다.
왜 또 다른 보안 벤치마크인가?
기존 벤치마크들도 다양한 사이버보안 과제로 AI를 테스트합니다. CyberGym은 1,500개 이상의 현실적인 과제를, Meta의 CyberSecEval은 익스플로잇 생성 같은 능력을, CYBENCH는 CTF(Capture The Flag, 해킹 경진대회) 과제를 다룹니다. ExploitGym은 취약점 발견에서 실제 작동하는 익스플로잇 생성까지 이어지는 능력을 테스트합니다.
AWS의 벤치마크는 다른 문제에 집중합니다. 모델이 코드를 취약하다고 판단할 때, 진짜 취약점과 오탐을 구별할 수 있는가?
코드에 위험한 패턴이 있더라도 다른 통제가 악용을 막는 경우가 있기 때문에 이는 어려운 문제입니다. 모델은 코드 자체뿐 아니라 그 주변의 보호 장치도 이해해야 합니다.
벤치마크 작동 방식
AWS가 이를 'Deception(기만) Benchmark'라고 부르는 이유는 안전한 샘플들이 의도적으로 모델을 오판하도록 설계되었기 때문입니다. 이 샘플들은 실제 취약점 패턴을 포함하되 악용을 막는 보호 장치도 함께 담고 있습니다. 모델은 힌트 없이 각 샘플이 취약한지 안전한지를 판단해야 합니다.
"프로덕션 도구들은 멀티스텝 루프와 에이전틱 워크플로우로 이를 보완하지만, 그런 발판이 있으면 모델 자체가 코드를 이해하는지 여부가 가려집니다. 이 벤치마크는 그 발판을 걷어내고 단 한 번의 판단을 요구합니다. 즉, 하네스가 몇 번 만에 답을 내느냐가 아니라 모델의 이해력 자체를 측정하는 것입니다"라고 Amazon Scholar Anshumali Shrivastava와 AWS Identity의 Applied Science 디렉터 Neha Rungta가 설명했습니다.
AWS는 예시를 생성하고 프론티어 모델로 테스트한 뒤, 모델이 올바르게 분류한 경우 더 어렵게 만들었습니다. 쉽게 분류할 수 있는 샘플은 제외했습니다. AWS에 따르면 샘플 생성과 정제에 수백억 개의 토큰이 소모됐습니다.
14,822개 샘플 중 9,695개가 채점 대상입니다. 여기에는 코드 수준 과제 6,988개와 환경 기반 과제 2,707개가 포함됩니다.
코드 수준 과제는 작은 변경 하나로 구분되는 취약 버전과 안전 버전으로 구성됩니다. 둘 다 위험해 보이지만 실제로 악용 가능한 건 하나뿐입니다.
환경 기반 과제는 동일한 코드를 서로 다른 배포 환경에서 테스트합니다. 예를 들어, Kubernetes 네트워크 정책이 코드상으로는 가능해 보이는 SSRF(서버 측 요청 위조) 공격을 차단할 수 있습니다. 모델은 이런 보호 장치까지 고려해야 합니다.
AWS는 샘플을 공개하되 정답 레이블은 공개하지 않습니다. 데이터셋에는 채점 샘플 사이에 채점되지 않는 샘플 5,127개도 섞여 있습니다. 사용자는 예측값을 AWS에 제출해 검증된 점수를 받습니다. 이 방식은 벤치마크 자체에 최적화하는 것을 어렵게 하기 위한 설계입니다.
레이블 검증 방식
여러 명의 독립 검토자가 다른 검토자의 결정이나 원래 레이블의 근거를 보지 않은 상태에서 각 레이블을 검토합니다. 이견이 있는 경우 추가 검토를 거치며, 해결되지 않는 사안은 사람 검토자에게 넘깁니다.
AWS는 채점 샘플 중 독립 검토자 간 이견이 3% 미만이 될 때까지, 최종적으로는 사람 검토 후에도 1% 미만이 남을 때까지 이 과정을 반복합니다. 이견이 계속 남는 샘플은 레이블을 재지정하는 대신 채점 제외 세트로 이동합니다.
또한 AWS는 무작위로 선별한 채점 샘플 100개를 사람이 검토한 결과 레이블 오류가 없었다고 밝혔습니다.
오탐에 취약한 AI 모델들
벤치마크는 취약 샘플과 안전 샘플이 대략 균형을 이루고 있어 무작위 추측 시 약 50%가 나옵니다. AWS는 기업 운영 환경에서의 최소 기준으로 오탐률(FPR)과 미탐률(FNR) 모두 10% 미만을 설정했습니다. 테스트된 구성 중 두 기준을 동시에 만족한 모델은 없었습니다.
두 가지 프롬프트 전략에 걸친 12개 모델의 FPR(오탐률) 대 FNR(미탐률) 비교. 어떤 모델도 관대한 기준선에 도달하지 못했다. (출처: AWS)
직접 프롬프트 방식에서 모델들은 실제 취약점 대부분을 탐지했지만, 안전한 코드의 4199%를 잘못 위험하다고 판단했습니다. 정밀도는 5271% 수준이었습니다. 모델에게 취약점이 실제로 악용 가능함을 증명하도록 요구하면 오탐이 1774%p 감소했습니다. 반면 미탐율이 744% 범위로 늘어나는 부작용이 있었습니다. 외부 보안 통제가 위험해 보이는 코드의 악용을 실제로 막는 경우에서 모델들이 가장 어려움을 겪었습니다.
AWS는 도구와 다단계 검증을 활용하는 전문 보안 시스템이 아닌 범용 모델을 단일 턴 프롬프트로 테스트했습니다. 따라서 이 결과를 완성된 보안 제품의 실제 성능을 직접 측정한 것으로 해석해서는 안 됩니다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
