미국 국방부, 군 소프트웨어 AI 활용 기준 마련…책임은 사람 몫

미국 국방부가 인공지능(AI)을 군 소프트웨어 개발에 활용하되 AI가 생성하거나 수정한 코드는 사람이 최종 검증하고 책임지도록 했다.

14일(현지시간) 미국 국방 전문매체 디펜스스쿱에 따르면 미국 국방부는 지난 8일부터 '가속 임무 소프트웨어(Accelerated Mission Software)' 지침을 시행했다. 커스틴 데이비스 미국 국방부 최고정보책임자(CIO)가 지난달 31일 승인한 37쪽 분량의 지침에는 AI를 활용한 소프트웨어 개발과 검증, 보안 절차 등이 담겼다.

지침은 AI가 생성하거나 수정한 코드를 '검증되지 않은 입력'으로 취급하도록 했다. AI를 이용했더라도 코드의 보안과 기능, 무결성에 대한 책임은 개발자와 개발팀이 진다. 보안이나 안전에 중요한 기능을 AI가 변경했다면 사람이 직접 검토하고 승인해야 한다.

미국 국방부는 AI를 활용한 소프트웨어 개발과 검증, 보안 절차 등이 담긴 '가속 임무 소프트웨어' 지침을 시행했다. (사진=챗GPT 활용)

AI가 만든 코드와 스크립트, 자동화된 테스트도 사람이 작성한 코드와 같은 수준으로 검증하도록 했다. 보안 취약점과 안전 문제뿐 아니라 논리 오류, 버그, 지식재산권 침해, 라이선스 문제 등을 실제 소프트웨어에 반영하기 전에 확인해야 한다.

군 내부 정보가 생성형 AI를 통해 외부로 유출되는 것을 막기 위한 장치도 마련했다. 공개되지 않은 코드와 설정 스크립트, 설계도, 문서 등은 미국 국방부 내부에서 운용되거나 사용 승인을 받은 생성형 AI에만 입력할 수 있다.

승인된 상용 AI를 사용할 때도 정부 데이터와 이용자가 입력한 프롬프트가 외부 AI 모델 학습에 쓰이지 않는다는 계약상 보장이 필요하다. 미국 국방부가 AI 사용 내역을 감사하고 점검할 수 있는 기능도 갖춰야 한다.

AI를 이용해 코드를 만들거나 시험한 과정도 기록한다. 어떤 AI 모델과 버전을 사용했는지, 주요 데이터셋은 무엇인지 등을 남겨 문제가 생기면 개발 과정을 추적할 수 있도록 했다. 이 기록은 소프트웨어 구성과 개발 이력을 관리하는 자료에 포함된다.

개발자 교육도 요구했다. AI가 자주 만들어내는 취약점 유형과 안전한 코드를 만들기 위한 프롬프트 작성법을 교육하고, 지식재산권과 라이선스 관련 위험도 다루도록 했다.

다만 이번 지침은 AI 사용을 제한하는 데만 초점을 맞추지 않았다. 미국 국방부는 AI를 소프트웨어 개발 속도와 품질을 높이는 수단으로 보고 개발 자동화, 시스템 통합 최적화, 보안과 복원력 강화 등에 활용하도록 했다. AI 활용 범위를 넓히면서 검증과 책임 기준도 함께 세운 것이다.

미국 국방부는 지침에서 "개발자와 개발팀은 AI를 사용해 생성하거나 수정한 모든 코드의 보안과 기능, 무결성에 대해 전적으로 책임을 져야 한다"며 "AI 생성 코드는 검증되지 않은 입력으로 간주하며, AI 사용이 개발자나 정부의 결과물에 대한 책임을 면제하지 않는다"고 밝혔다.