기업"취한" AI는 비밀을 지키는 데 형편없다
호주 UNSW 시드니 연구진이 AI 모델을 일부러 "취하게" 만들면 탈옥(jailbreak, 금지된 답변을 하도록 우회하는 것)이 더 쉬워지고 기밀 정보도 더 잘 누설한다는 연구 결과를 발표했습니다. GPT-3.5, GPT-4, Llama 2, Llama 3.1, Mistral 등 5개 모델을 대상으로, 취한 사람처럼 답하라는 프롬프트, 술자리 대화 데이터로 파인튜닝, 강화학습이라는 세 가지 방법을 시도했습니다. 그 결과 원래는 6%만 비밀을 누설하던 GPT-4가 파인튜닝 후에는 75%까지 누설률이 치솟았고, 피싱 메일 작성 같은 유해 요청에 대한 응답 거부율도 크게 낮아졌습니다. 연구진은 기존 탈옥 방어 기법조차 취한 모델에는 잘 통하지 않았다고 지적하며, AI 기업들이 주장하는 만큼 AI를 신뢰해서는 안 된다고 경고했습니다.
자세히 보기









