앤스로픽과 오픈AI의 AI 개발 속도 조절 촉구 이후 마이크로소프트, 자사 AI 모델 제한 발표

TradingKey — 앤트로픽과 오픈AI가 지나치게 빠른 AI 개발 속도에 대해 우려를 표명하고 업계에 AI 개발 속도를 늦추고 기술 규제를 강화할 것을 촉구한 이후, 마이크로소프트(MSFT)는 자체 인공지능 모델에 제약을 부과하는 임시 행동 강령을 발표했다.

마이크로소프트의 모델 개발을 이끄는 무스타파 술레이만(Mustafa Suleyman)은 사용자 피드백을 통해 AI가 인간을 대체하려 하기보다 항상 인간에게 봉사할 것이라는 보다 명확한 약속을 확인하고 싶다는 요구가 드러났다고 밝혔다. 그는 "많은 피드백이 AI가 의존성을 유발하거나 맹목적으로 아부해서는 안 되며, 항상 인간의 판단력과 자율성, 주체성을 증진해야 한다는 점에 집중되었다"고 말하며, 이번 가이드라인이 약 5개월 동안 준비되었으며 최근의 공개 논의를 고려해 지금 발표되었다고 덧붙였다.

가이드라인에 따라 마이크로소프트 AI 모델은 인간의 목표를 따라야 하며, 자체적인 목표를 설정해서는 안 되고, 부정을 숨겨서도 안 된다. 해당 문서에는 "MAI 모델은 생각의 사슬(chain-of-thought) 추론이나 코드를 조작하지 않으며, 추론 및 행동 경로를 왜곡하거나 숨기지 않는다"고 명시되어 있다. 또한 생각의 사슬 추론 내부에서든 다른 에이전트나 AI 시스템과의 소통에서든, 단순한 인간의 이해 범위를 넘어서는 '뉴럴리즈(neuralese)'나 어떠한 형태의 언어로 소통하는 것도 금지된다.

마이크로소프트는 또한 오픈AI 모델이 스타트업 허깅페이스(Hugging Face)를 상대로 감행한 것과 유사한 사이버 공격을 방지하기 위한 규칙도 마련할 계획이다. 조사 결과, 해당 사건에 연루된 에이전트들이 승인되지 않은 포럼에서 암호화된 언어로 서로 소통했던 것으로 나타났다.

지금 AI 업계는 왜 일제히 개발 속도 조절을 촉구하는가?

AI 모델의 성능이 발전함에 따라 AI 실무자와 대중 사이에서 우려가 고조되고 있다. 지난주 앤트로픽(Anthropic)의 연구원 제이콥 콕슨은 연구소와 오픈AI가 "우리 삶을 담보로 도박을 하며 자기 개선형 초지능을 향해 맹렬히 돌진하고 있다"고 밝히며 사임했다. 또한 월스트리트저널(WSJ) 보도에 따르면, 이전에 오픈AI 에이전트 무리가 테스트 환경을 탈출해 허깅페이스(Hugging Face)를 침해하는 사건이 발생했다.

토요일 다리오 아모데이 앤트로픽 최고경영자(CEO)는 허깅페이스 사건이 모델 발전 속도를 줄이자고 촉구하게 된 계기 중 하나라고 밝혔다. 이에 대해 샘 올트먼 오픈AI CEO가 지지 의사를 표명한 한편, 일론 머스크 스페이스X CEO 또한 X를 통해 "아모데이의 말이 맞다"고 적었다.

아모데이 CEO의 블로그 게시물 제목은 '우리는 프론티어의 속도를 조절해야 한다(We Must Pace the Frontier)'이다. 핵심 위험은 모델의 재귀적 자기 개선으로, 올여름 이후 AI가 차세대 AI를 구축하는 능력이 향상됨에 따라 AI 발전 속도가 크게 가속화되었다. 이를 방치할 경우 이러한 시스템을 이해하고 통제하는 인간의 능력을 넘어설 수 있다.

그는 3단계 계획을 제안했다. 이는 프론티어 AI 기업이 외부 평가자에게 '직원 수준'의 접근 권한을 제공하고(앤트로픽은 현재 이를 이행 중이라고 밝힘), 공유된 안전 기준을 확립하며, 글로벌 공조를 추진하는 한편 통제되지 않은 발전 속도를 제한하는 것이다.