샘 올트먼, 프론티어 AI 개발 속도 조절 지지… OpenAI, 독립적 안전성 평가 도입 예정

TradingKey - 샘 올트먼 오픈AI CEO가 9월 14일 소셜 미디어 플랫폼 X를 통해 첨단 AI 기업을 위한 연방 안전 프레임워크 구축을 지지한다는 입장을 밝혔다. 그는 AI 분야에서 미국이 직면한 경쟁 압력이 기업들의 무모한 행위나 모델 성능이 안전 및 모니터링 역량을 앞지르는 현상을 정당화하는 이유가 될 수 없다고 강조했다.

[출처: X]

올트먼 CEO는 위험의 주요 유형을 크게 두 가지로 제시했다. 첫째, 인류가 미래에 대한 통제권을 잃을 수 있으므로 AI는 항상 인간에게 봉사해야 한다는 점, 둘째, 고도화된 AI가 권력의 과도한 집중을 초래해 소수의 개인이나 기업, 나아가 국가에 지나친 영향력을 줄 수 있다는 점이다.

오픈AI는 독립적인 평가자 도입을 지지한다. 올트먼 CEO는 첨단 AI 기업들이 관련 법안 제정이나 반독점 면제를 기다리지 않고 즉시 공동 안전 기준 개발에 착수해야 한다고 보고 있다. 모델 성능이 향상됨에 따라 정렬(alignment) 및 안전 기술이 한발 앞서 나가야 하며, 모니터링 조치 역시 이에 발맞추어 이루어져야 한다는 설명이다.

오픈AI, 프론티어 모델 학습 전 안전성 논거 추가

올트먼 CEO는 개발 속도를 조절하는 것이 연구 개발 중단을 의미하지는 않는다고 밝혔다. 안전성 논거 제시와 지속적인 모니터링으로 인해 비용이 증가하고 일부 학습 진행이 둔화될 수는 있지만, 모델 개발과 기술 발전은 계속될 것이라는 설명이다.

기존에는 일부 프론티어 AI 기업들이 채택한 책임 있는 확장 정책과 OpenAI가 구축한 대비 프레임워크가 주로 학습이 완료된 모델과 해당 모델의 배포 위험에 초점을 맞추었다. 반면 올트먼 CEO는 안전 관리가 모델 개발 및 평가 과정까지 포함해야 한다고 보고 있다.

모델 역량을 크게 향상시킬 것으로 기대되는 프론티어 강화학습 훈련과 관련해, OpenAI는 모델 출시 전 안전성 평가를 유지하는 한편 훈련에 앞서 명확한 안전성 논거를 구축하기 시작했다. OpenAI는 다른 프론티어 AI 기업들도 자사의 접근 방식을 참고해 자체적인 해결책을 제시함으로써 모델 정렬 불일치, 모니터링, 안전성에 대한 공통 표준 형성이 촉진되기를 기대하고 있다.

올트먼 CEO는 개발 속도를 조절하는 것이 연구 개발 중단과 동의어는 아니라고 밝혔다. 안전성 논거 마련과 지속적인 모니터링에는 더 많은 자원이 소요되어 이러한 조치가 없을 때에 비해 프론티어 AI 역량의 향상 속도가 낮아지겠지만, 관련 연구 개발은 여전히 계속 진행될 것이라는 입장이다.

오픈AI, 앤트로픽의 3가지 권고사항에 응답

올트먼의 발언은 9월 12일 다리오 아모데이 앤트로픽 CEO가 제시한 권고안에 대한 응답으로 나왔다. 아모데이 CEO는 AI가 차세대 모델 개발에 점차 더 깊이 관여함에 따라, 업계가 관련 리스크를 이해하고 통제할 수 있는 수준보다 모델 성능이 더 빠르게 발전할 수 있다고 지적했다.

아모데이 CEO는 세 가지 방안을 제안했다. 첨단 AI 기업이 제3자 평가팀에 임직원 수준에 가까운 지속적인 접근 권한을 제공하는 것, 민주주의 국가의 관련 기업 간 공동 안전 기준 수립을 추진하는 것, 그리고 미국과 중국 등을 포함한 국제적 공조를 모색하는 것이다.

앤트로픽은 외부 평가팀을 도입하기로 서약했다. 올트먼 역시 OpenAI가 유사한 독립 평가 방식을 채택할 것이라고 밝혔으나, 구체적인 평가자 접근 권한과 이행 일정은 아직 공개하지 않았다.

개발 속도 문제에 있어서 트럼프의 우선순위는 일부 첨단 AI 기업 리더들의 생각과 다르다. 트럼프는 중국에 대한 우위가 약화되는 것을 피하기 위해 미국이 AI 개발 속도를 늦출 필요가 없다고 본다. 한편 올트먼은 정렬(alignment), 안전 및 모니터링 조치가 모델 성능의 진보보다 뒤처지지 않도록 보장하면서 연구개발을 지속해야 한다고 주장한다.