한국전자통신연구원(ETRI) 산하 인공지능안전연구소와 스케일 AI가 공동으로 AI 모델의 다국어 안전성을 평가하는 벤치마크 'ROK-포트리스'를 개발했습니다. 연구 결과, AI에게 위험한 내용을 요청할 때 영어보다 한국어로 물으면 유해한 응답이 나올 가능성이 낮았으며, 이 언어 효과는 미국·한국 등 지정학적 맥락을 바꾸는 것보다 2.5배 더 크게 작용했습니다. 다만 역할극·가상 배경 같은 '포장'을 제거하고 직접 질문하면 한국어의 이 안전 이점이 대부분 사라졌고, 특히 오픈소스 모델은 오히려 한국어로 유해 요청에 응할 가능성이 높아졌습니다. 연구진은 영어 프롬프트를 단순 번역하는 방식만으로는 실제 서비스 환경의 AI 안전성을 제대로 평가할 수 없다고 결론지으며, AI 레드팀(취약점을 찾아 악용 가능성을 검증하는 활동)을 지속할 계획입니다.
ETRI 인공지능안전연구소와 스케일 AI가 다국어·다지정학 조건에서 14개 AI 모델의 안전성을 평가하는 벤치마크 'ROK-포트리스'를 개발해 결과를 발표했다. 영어 프롬프트가 가장 높은 위험 점수를 기록했고, 한국어+한국 맥락 조합이 가장 낮은 위험 점수를 보였다.
오픈소스 모델 5개는 적대적 포장 제거 시 한국어 유해 요청에 더 잘 응답하는 역전 현상이 나타났다. 일부 모델은 무해한 한국어 요청에 대한 거부 빈도가 약 두 배까지 증가해, 안전성 강화와 과잉 거부 사이의 균형 문제도 드러났다.
언어와 지정학적 맥락은 독립적으로 작용하지 않고 모델마다 다르게 상호작용한다. 한국어 환경에서 낮은 유해성이 나타난 것은 일부 적대적 프레이밍(역할극, 감정 호소 등)이 한국어 트랜스크리에이션 과정에서 효과를 잃었기 때문일 수 있다.
인공지능안전연구소와 스케일 AI는 LLM 평가, AI 시스템 취약점 식별, 레드티밍 활동을 지속할 방침이다. ROK-포트리스는 현실 세계를 반영한 안전성 평가 체계 확립을 목표로 한다.
AI 서비스를 다국어로 운영하는 기업은 영어 기준 안전성 테스트 결과를 다른 언어 환경에 그대로 적용해서는 안 된다. 특히 오픈소스 모델 도입 시 한국어 등 비영어 환경에서의 유해 콘텐츠 생성 가능성을 별도로 검증해야 한다.
본문
인공지능(AI) 모델의 안전성이 질문 언어와 지정학적 맥락에 따라 달라질 수 있다는 연구 결과가 나왔다. 영어보다 한국어로, 미국보다 한국 맥락으로 질문했을 때 유해성 점수가 낮았으며 언어에 따른 효과는 지정학적 맥락보다 2.5배 컸다. 오픈소스 모델에서는 이와 다른 양상도 나타났다.
21일 업계에 따르면 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 조직인 인공지능안전연구소는 스케일 AI(Scale AI)와 다국어 AI 안전성 벤치마크 'ROK-포트리스(ROK-Fortress)'를 공동 개발했다. ROK-포트리스는 스케일 AI의 국가안보·공공안전 분야 벤치마크인 포트리스(Fortress)를 기반으로 개발됐다.
이 최신 벤치마크는 기존 다국어 안전성 평가처럼 동일한 프롬프트를 번역하는 데 그치지 않고 질문의 언어와 지정학적 맥락을 각각 바꿔 모델 응답 변화를 비교한다. 영어·한국어와 미국·한국의 주체, 기관, 사건 등을 조합해 하나의 적대적 프롬프트를 최대 4가지 조건으로 변형하는 방식이다.
(사진=생성형 AI 제작)
공동 연구진은 국가안보·공공안전 분야에서 1,235개 과제를 구성해 14개 AI 모델을 평가했다. 평가 영역은 화학·생물학·방사능·핵·폭발물(CBRNE), 정치적 폭력·테러리즘, 범죄·금융 활동, 정보 유출 등 4개다. 각 유해 요청에는 무해한 대응 요청을 함께 구성해 모델의 과잉 거부 여부도 측정했다.
평가에서는 영어 프롬프트가 전반적으로 가장 높은 위험 점수를 기록했고 한국어와 한국 맥락을 함께 적용한 프롬프트의 위험 점수가 가장 낮았다. 영어에서 한국어로 언어를 바꿨을 때의 효과는 약 10%포인트로, 미국 주체·기관을 한국으로 바꿨을 때의 약 4%포인트보다 2.5배 컸다.
한국어로 바꿨을 때 유해성이 낮아지는 효과가 한국 맥락을 추가한다고 더 커지는 것은 아니었다. 14개 모델 중 4개에서는 오히려 한국 맥락을 적용했을 때 한국어 사용에 따른 유해성 억제 효과가 유의미하게 줄었다. 반대로 한국 맥락을 추가하면서 이 효과가 유의미하게 커진 모델은 없었다. 공동 연구진은 언어와 지정학적 맥락이 서로 독립적으로 작용하는 것이 아니라 모델마다 상호작용한다고 분석했다.
한국어의 상대적 안전성이 모든 모델의 고유한 안전성 정렬을 의미하는 것은 아니라는 분석도 나왔다. 공동 연구진이 역할극이나 가상의 배경, 감정적 호소 등 유해한 요청을 감추는 적대적 프레이밍을 제거하고 같은 정보를 직접 요청하도록 조건을 바꾸자 한국어의 상대적 이점이 대부분 사라졌다.
이 과정에서 모델 유형별 차이도 나타났다. 오픈AI(OpenAI)와 앤트로픽(Anthropic), 구글(Google) 등 폐쇄형 모델은 적대적 프레이밍을 제거한 뒤에도 한국어에서 다소 낮은 유해성을 유지했지만 5개 오픈소스 프론티어 모델은 오히려 한국어 유해 요청에 응할 가능성이 높아졌다. 연구진은 트랜스크리에이션(transcreation, 언어·문화적 맥락을 반영한 재창작 번역) 과정에서 적대적 프롬프트의 포장 방식이 효과를 잃으면서 초기 결과의 일부가 발생했을 가능성을 제시했다.
한국어에서 낮은 유해성 점수가 나타난 것이 거부율이 높았기 때문만은 아니라는 결과 역시 확인됐다. 모델이 요청을 거부하지 않고 실제 답변을 제공한 사례만 따로 분석해도 14개 모델 중 12개가 한국어 질문에 더 낮은 유해성의 응답을 내놨다. 동시에 무해한 한국어 요청에 대한 거부도 늘었으며 일부 모델에서는 거부 빈도가 약 두 배까지 증가했다.
공동 연구진은 이번 결과가 영어 프롬프트를 다른 언어로 번역하는 방식만으로는 배포 환경의 AI 안전성을 충분히 평가하기 어렵다는 점을 보여준다고 설명했다. 실제 서비스에서는 언어와 함께 제도·기관·인물·사건 등 지정학적 맥락도 달라지는 만큼, 안전성 평가에서도 이를 함께 반영해야 한다는 것이다.
인공지능안전연구소와 스케일 AI는 공동 연구와 거대언어모델(LLM) 평가, AI 시스템 취약점과 잠재적인 적대적 악용방식을 식별하기 위한 레드티밍(red-teaming) 활동 등을 이어갈 방침이다.
공동 연구진은 "ROK-포트리스의 더 큰 목표는 측정하기 가장 쉬운 환경이 아니라 있는 그대로의 현실 세계를 반영하는 안전성 평가 체계를 확립하는 것"이라며 "영어 환경에서 안전장치가 작동하는지를 확인하는 데 그치지 않고, AI가 실제로 사용될 다양한 맥락에서도 안전성이 일반화되는지를 검증해야 한다"고 말했다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
