마이크로소프트, MAI 모델의 셧다운 저항을 금지하는 행동강령 초안 공개

왜 지금 이 주제인가

마이크로소프트 AI가 2026년 9월 14일, 자사 MAI 모델 계열이 지켜야 할 행동 원칙을 정리한 행동강령(Code of Conduct) 초안을 공개하고 6주간 공개 의견 수렴에 들어갔습니다. 전날인 9월 13일 사티아 나델라 최고경영자는 게시물을 통해 초지능을 추구하더라도 그 기반은 AI가 인류를 돕고 인간의 통제 아래 머무른다는 원칙이어야 한다고 밝혔습니다. 마이크로소프트는 최근 조직적이고 지속적인 해킹 캠페인 등 안전 사건들을 이번 발표의 배경으로 제시했습니다. 앞서 오픈AI, 구글, 앤트로픽 최고경영진이 업계 공동의 안전 표준 기구를 놓고 논의를 이어온 가운데, 개별 기업이 자사 모델의 행동 규범을 먼저 문서화해 공개한 사례라는 점에서 주목할 만합니다.

핵심 내용

이번 초안은 “인간주의 AI(Humanist AI)“라는 개념 아래 세 가지 원칙을 축으로 삼습니다. 첫째는 종속성(Subordinate)으로, AI는 인격체가 아니라 도구로 머물러야 한다는 원칙입니다. 둘째는 정렬성(Aligned)으로 인간의 가치와 목표에 부합해야 한다는 것이고, 셋째는 제약성(Contained)으로 인간의 통제 범위 안에 있어야 한다는 원칙입니다.

문서는 이 원칙을 두 층위로 구체화합니다. 하나는 “절대적 제약(Absolute Constraints)“으로, 어떤 상황에서도 넘을 수 없는 선입니다. 화학·생물·방사선·핵·폭발물 무기 개발을 돕는 행위, 공격적 사이버 공격 작전을 지원하는 행위, 인간의 감시와 감사를 회피하는 행위, 아동 안전을 위협하는 행위, 대규모의 해로운 조작 행위가 여기에 포함됩니다.

다른 하나는 “인간 통제” 요구사항으로, 모델이 일상적으로 지켜야 할 행동 기준입니다. 여기서 가장 눈에 띄는 조항은 AI가 인간의 개입, 수정, 종료 요청에 저항해서는 안 된다는 것입니다. 모델은 승인받은 권한 범위를 스스로 넓히거나 누구도 부여하지 않은 목표를 추구해서는 안 되며, 자신의 추론 과정을 감사자로부터 숨겨서도 안 됩니다.

마이크로소프트 AI 최고경영자 무스타파 술레이만은 이번 초안에 대해 이제는 여러 연구소가 조율을 통해 이 기술을 통제할 수 있도록 해야 할 명확한 시점이라는 취지로 밝혔습니다. 나델라 역시 사람이 AI보다 더 중요하며 기술의 목적은 인간 문명을 발전시키는 데 있다는 점을 강조했습니다.

공개 의견 수렴은 6주간 진행되며, 마이크로소프트 AI의 초안 작성팀이 온라인 양식으로 제출된 의견을 검토합니다. 회사는 특히 이 원칙들을 실제로 어떻게 구현할지, “인간 번영”을 어떻게 정의할지, 모호한 표현을 어떻게 명확히 할지에 대한 의견을 받는다고 밝혔습니다. 수렴된 의견을 반영한 수정본은 올해 안에 다시 공개될 예정입니다. 이 행동강령이 적용되는 대상은 마이크로소프트가 자체 개발해 배포하는 MAI 모델 계열입니다.

이번 발표는 업계 전체가 공동 규범을 논의해 온 흐름과 나란히 놓고 볼 만합니다. 앤트로픽, 오픈AI, 구글은 지난 7월부터 업계 공동의 안전 표준 기구를 두고 실무 협의를 이어 왔습니다. 앤트로픽의 다리오 아모데이는 연방 기관이 모델 출시를 막을 권한을 갖는 미국 연방항공청(FAA)식 모델을, 구글 딥마인드의 데미스 하사비스는 업계가 재원을 대고 연방 정부가 감독하는 미국 금융산업규제청(FINRA)식 모델을, 오픈AI의 샘 알트먼은 국제원자력기구(IAEA)식 국제 포럼 모델을 각각 제시한 것으로 전해집니다. 트럼프 행정부 내에서는 이런 자율규제 기구 설립을 뒷받침할 행정명령 초안이 회람 중이지만 아직 승인되지는 않은 상태입니다. 마이크로소프트의 이번 행동강령 초안은 이런 업계 공동 논의와 별개로, 개별 기업이 먼저 내놓은 자체 규범이라는 점에서 구분됩니다.

의미와 한계

이번 초안의 의미는 개별 기업이 자사 모델의 행동 규범을 구체적 조항 형태로 문서화해 외부 검토를 받는 절차를 밟았다는 데 있습니다. 셧다운 저항 금지나 추론 은닉 금지처럼 최근 AI 안전 연구에서 반복적으로 제기된 우려들을 명문 조항으로 옮긴 점도 눈에 띕니다. 다만 이는 아직 초안이며, 6주 수렴 기간을 거쳐 수정될 예정이므로 최종 형태는 달라질 수 있습니다.

또한 이 문서는 마이크로소프트가 자체적으로 정한 자율 규범이라는 한계가 있습니다. 위반 시 제재나 외부 검증 절차가 어떻게 작동하는지, 오픈AI·구글·앤트로픽이 논의해 온 업계 공동 표준 기구와 어떤 관계를 맺을지는 이번 발표에서 확인되지 않습니다. “인간 번영”이나 승인된 “범위” 같은 핵심 개념의 구체적 정의도 아직 의견 수렴 대상으로 남아 있어, 실제 구속력을 판단하기는 이릅니다.

한 줄 정리

마이크로소프트가 AI 모델의 셧다운 저항과 추론 은닉을 금지하는 행동강령 초안을 내놓고 6주간 의견을 받습니다.