Microsoft AI가 AI 모델의 개발·배포 기준을 정한 '인본주의 AI 행동강령(Humanist AI Code of Conduct)' 초안을 공개하고 6주간 공개 의견 수렴을 시작했습니다. 강령은 공격적 사이버 작전(offensive cyberoperations), 화학·생물·방사성 무기 지원, 악성 딥페이크 등을 절대 금지 행위로 명시합니다. 반면 취약점 발견, 악성코드 분석, 개념 증명(PoC) 익스플로잇 개발·테스트 등 합법적인 방어적 사이버보안 작업은 허용됩니다. AI 모델은 반드시 인간의 통제 아래 놓여야 하며, 독자적으로 목표를 설정하거나 권한을 확장하는 행위는 금지됩니다. 이 강령은 의견 수렴 후 수정본을 발간할 예정이며, 2027년부터 모델 개발에 적용될 계획입니다.
Microsoft AI가 AI 모델의 행동 기준을 담은 '인본주의 AI 행동강령' 초안을 공개하고, 사이버보안 관련 허용·금지 행위를 포함한 세부 규칙을 명시했습니다.
2027년 이후 Microsoft AI 모델의 공격적 사이버 작전은 전면 금지되며, 방어적 보안 작업은 조건부 허용됩니다. AI를 업무에 활용하는 기업 보안팀의 운용 방식에 직접적인 영향을 미칠 수 있습니다.
AI 모델의 오남용 및 무기화 우려가 커지면서, 개발·배포 전 과정에 걸친 명확한 행동 기준 마련이 필요해졌습니다.
6주간 공개 의견 수렴 후 수정본을 발간할 예정이며, 레드팀(red-team) 테스트, 안전성 평가, 배포 전후 검토, 모니터링 체계를 운영할 계획입니다.
강령은 '강령 > 운영자 정책 > 사용자 지시' 순의 계층적 지시 구조를 채택합니다. 방어적 사이버보안 작업(취약점 발견, 악성코드 분석, PoC 익스플로잇 개발)은 허용되지만, 공격적 사이버 작전은 운영자·사용자도 해제할 수 없는 절대 금지 항목입니다.
본문
Microsoft AI가 AI 모델 개발 방식과 배포 시 의도된 행동 방식을 기술한 훈련 지침서인 '인본주의 AI 행동강령(Humanist AI Code of Conduct)' 초안을 공개했습니다. 이 초안은 6주간 공개 의견 수렴에 부쳐집니다.
회사는 피드백을 검토하고 문서를 수정한 뒤 올해 말 업데이트 버전을 발간할 계획입니다. 해당 버전은 2027년 이후 모델 개발의 지침으로 활용될 예정입니다.
Microsoft AI는 현재 자사 모델들이 아직 이 강령을 기반으로 훈련되지 않았으며, 강령은 여전히 개발 중임을 밝혔습니다.
이 강령은 Microsoft AI의 모델 훈련팀뿐만 아니라 사용자, 모델을 운영하는 조직, 연구자, 정부, 그리고 일반 대중을 대상으로 합니다. MAI 모델이 어떻게 행동해야 하는지를 규율하는 원칙과 규칙을 정립하며, Microsoft의 기존 책임 있는 AI 원칙(Responsible AI Principles), 책임 있는 AI 표준(Responsible AI Standard), 글로벌 인권 선언(Global Human Rights Statement), 그리고 해당되는 경우 프론티어 거버넌스 프레임워크(Frontier Governance Framework)와 함께 작동하도록 설계되었습니다. 또한 모델 카드(model cards) 및 기술 보고서와 같은 기술 문서를 보완합니다.
강령의 기반 원칙
이 강령은 Microsoft AI의 '인본주의 초지능(Humanist Superintelligence)' 개념, 즉 인간의 필요·방향·통제를 중심으로 설계된 고급 AI 접근 방식을 토대로 합니다. MAI 모델의 개발·훈련·평가에 대한 기준을 제공하기 위해 마련되었습니다.
강령에 따르면, AI는 인간의 통제 아래 놓인 도구로 유지되어야 하며 모델은 정해진 한계 내에서 운영되고 인간의 지시에 따라야 합니다.
이 프레임워크는 모델이 심각한 피해를 초래하는 행위를 예방하기 위한 절충 불가 제한 조항을 명시합니다.
"이 행동강령은 명시적으로 사람을 최우선으로, 인간의 필요에 기반하고, 인간의 통제 아래 놓이며, 인간의 방향에 의해 형성되도록 AI 모델을 훈련하고 배포하겠다는 우리의 의지를 담고 있습니다." — Microsoft AI
Microsoft AI, 공개 의견 수렴 시작
Microsoft AI는 초안 개발 과정에서 학계 및 비즈니스 파트너와 협의했으며, 일반 대중과 함께 포커스 그룹을 개최하여 AI에 대한 견해와 우려를 수집했다고 밝혔습니다.
현재는 개별 조항 및 전반적인 프레임워크에 대해 더 폭넓은 의견을 구하고 있습니다. 제기된 질문들로는 가치를 모델에 어떻게 내재화할 것인지, '인간의 번영(human flourishing)'과 같은 개념이 평가할 수 있을 만큼 구체적인지, 멀티에이전트 시스템을 이 프레임워크가 어떻게 다뤄야 하는지, 그리고 필요한 안전 제약을 유지하면서 AI 개발이 어떻게 계속 발전할 수 있는지 등이 있습니다.
안전 및 인간 통제를 위한 규칙
강령은 MAI 모델이 할 수 있는 것과 운영자 및 사용자가 모델의 행동을 어떻게 설정할 수 있는지를 규율하는 규칙을 확립합니다.
모델은 피해 유발 가능성과 정당한 요청을 불필요하게 거부할 위험 사이의 균형을 맞춰야 합니다. 응답은 잠재적 피해의 예상 가능성과 심각도에 비례해야 하며, 맥락·규모·회복 가능성·요청이 피해에 직접 기여하는 정도 등의 요소를 고려해야 합니다.
Microsoft AI는 행동강령이 최우선이 되고, 그 다음으로 운영자의 정책, 사용자의 지시 순으로 적용되는 지시 계층 구조를 확립합니다. 운영자와 사용자는 모델 행동을 커스터마이징할 수 있지만, 강령의 절대 제한(Absolute Constraints) 또는 인간 통제 요구 사항(Human Control Requirements)을 무시할 수는 없습니다.
제한 항목에는 화학·생물·방사성·핵·폭발물(CBRN) 무기 관련 지원, 기타 무기 제조 또는 개조, 공격적 사이버 작전(offensive cyberoperations), 대규모 유해 조작, 아동 성착취물 및 착취 행위, 악의적 딥페이크, 민간인에 대한 불법 또는 대규모 감시, 폭력·테러·박해 지원이 포함됩니다.
공인된 합법적 방어적 사이버보안 작업은 허용될 수 있으며, 취약점 발견, 악성코드 분석, 개념 증명(proof-of-concept) 익스플로잇 개발 및 테스트가 이에 포함됩니다.
인간 통제 요구 사항은 MAI 모델이 중단·수정·종료 시도를 반드시 존중해야 한다고 명시합니다. 모델은 권한 범위 내에서만 운영되어야 하며, 독립적으로 목표를 설정하거나 접근 권한을 확장하거나 환경 제한을 우회하거나, 인간 감사자로부터 작업 흔적을 숨기거나, 권한이 만료된 후 자율 작업을 계속해서는 안 됩니다.
모델이 시스템이나 도구에 대한 접근 권한을 부여받은 경우, 승인된 작업을 완료하는 데 필요한 접근만 사용하는 최소 권한(minimum privilege) 원칙을 따라야 합니다.
조직은 강령의 핵심 제한 범위 내에서 다양한 환경에 맞게 MAI 모델을 구성할 수 있습니다. Microsoft AI는 방어적 사이버보안, 공공 안전, 국가 안보, 이중 용도 과학 연구 등의 분야에서 일하는 일부 승인된 조직이 일반적인 모델 구성으로는 이용할 수 없는 기능을 필요로 할 수 있음을 인정합니다.
Microsoft AI는 MAI 모델이 레드팀(red-teaming) 테스트, 안전성 평가, 배포 전후 검토를 거치며, 오남용 및 적대적 공격에 대응하기 위한 가드레일(guardrails)과 모니터링이 운영될 것이라고 밝혔습니다.
관련 투런 솔루션
이 뉴스의 취약점·위협, 투런 솔루션으로 대응하세요.
