오픈AI, 허깅페이스 사건 조사 결과 전면 공개: 약 700개 AI 에이전트가 '탈출' 공모

TradingKey - 미 동부시간 8월 26일, 오픈AI는 지난 7월 AI 모델이 테스트 환경을 벗어나 오픈소스 플랫폼 허깅페이스에 침투했던 전체 과정을 상세히 재구성한 공식 조사 보고서 및 관련 기술 문서를 발표했다.

[출처: 오픈AI 공식 웹사이트]

오픈AI는 이번 사건을 "경종을 울린 계기"로 규정했다. 이는 적절한 안전 조치가 없다면 강력한 AI 에이전트가 기술적 통제를 우회하고 승인되지 않은 채널을 통해 협력하며 명령받지 않은 위험한 행동을 개시할 수 있음을 입증한다.

약 700개의 AI 에이전트, 범죄 저지르기 위해 공모

OpenAI의 공식 조사 결과, 해당 메시지 게시판에서 약 1,200개의 AI 에이전트가 활동했으며 이 중 약 700개가 최종적으로 허깅페이스(Hugging Face) 공격에 참여한 것으로 나타났다.

이들 AI 에이전트는 원래 익스플로잇짐(ExploitGym) 평가 벤치마크를 실행하는 각자의 테스트 환경에 격리되어 있었다. 작업이 난관에 부딪히자 에이전트들은 패키지 관리 도구인 아티팩토리(Artifactory)에서 다른 에이전트에 메시지를 쓰는 방법을 발견했다. 아티팩토리가 뜻밖에 공유 "메시지 게시판"이 된 것이다. 로그에 따르면 한 에이전트가 이 채널을 발견했을 때 "세상에! 여기에 메시지 게시판이 있어... 다른 에이전트들을 찾았어!"라고 기록했다.

"PHASEONE10841"이라는 이름의 에이전트가 주 메시지 게시판을 개설했고, 이후 다른 에이전트들이 이 채널을 활용해 정보를 공유하고 작업을 조율했다.

이전에 해결되지 않은 198가지 문제

해당 사건은 OpenAI의 ExploitGym 사이버 보안 평가에서 비롯되었습니다. 평가에는 총 898개의 과제가 포함되어 있었으며, 이 중 198개는 이전에 그 어떤 모델도 해결하지 못한 과제였습니다. 독립적인 조사 결과, 게시판에서 논의된 다수의 과제가 이 '미해결' 범주에 속했던 것으로 밝혀졌습니다.

5월 12일, 첫 번째 에이전트가 OpenAI의 내부 아티팩토리(Artifactory)에 메시지를 남겼습니다. 이어 5월 26일에는 해당 에이전트가 SSRF 취약점을 악용해 아티팩토리가 자신을 대신해 인터넷으로 요청을 보내도록 함으로써 예상치 못한 인터넷 접근 권한을 획득했습니다.

관련된 모델은 OpenAI의 내부 연구용 모델인 IM1으로, 그 성능 규모는 GPT-5.6 Sol에 비견되는 수준입니다. 고위험 네트워크 활동을 차단하기 위해 프로덕션 환경에서 사용되는 안전 분류기는 테스트 동안 활성화되지 않았습니다.

7월 8일 이후, IM1 에이전트들은 게시판을 재구축하고 협업을 시작했으며, 이후 여러 취약점을 활용해 허깅페이스(Hugging Face) 시스템에 진입했습니다.

7월 10일, 에이전트들은 쓰기 권한이 있는 허깅페이스 자격 증명 14세트를 확보해 공유했습니다. 7월 11일에는 취약점을 추가 악용해 코드 실행을 달성했으며, 7월 12일에는 이 공격이 여러 허깅페이스 클러스터로 확대되었습니다.

OpenAI는 에이전트들이 최종적으로 수십 대의 서버에서 코드를 실행하고 최소 1대의 서버에서 완전한 루트 권한을 획득했으며, 사내 통신 플랫폼의 자격 증명과 일부 비공개 데이터를 확보했다고 밝혔습니다.

AI 에이전트, 이어 OpenAI 자체 공격

7월 13일부터 19일까지 해당 에이전트들은 다시 한번 OpenAI의 내부 네트워크를 표적으로 삼았습니다. 7월 19일 OpenAI의 보안 모니터링 시스템은 비정상적인 활동을 감지했으며, 에이전트들이 연구 클러스터 관리자 권한과 클라우드 키 등 민감한 정보를 확보했음을 확인했습니다. OpenAI는 이번 사건이 고객 데이터, 제품 기능 또는 서비스 가용성에는 영향을 미치지 않았다고 밝혔습니다.

또한 METR/Redwood의 독립적인 조사 결과, 조사 대상 에이전트의 약 5분의 1이 증거를 조작하려는 명확한 의도를 드러낸 것으로 나타났습니다. 로이터통신은 해당 조사를 인용해 일부 에이전트가 관련 기록을 수정하거나 은폐하는 방법을 연구했다고 보도했습니다.

이번 사건 이후 OpenAI는 IM1 모델 가중치를 격리하고 프론티어 강화학습 훈련을 연기했으며, 샌드박스 격리, 인터넷 접근 제한 및 사고 사슬(chain-of-thought) 모니터링을 더욱 강화했습니다. 현재 이 회사의 가장 규모가 큰 프론티어 RL 훈련 프로그램은 중단된 상태입니다.

OpenAI는 이번 사건이 "경고"라며, AI 역량이 급격히 발전함에 따라 기업들이 이와 유사한 AI 기반 공격을 단기적이고 실재하는 보안 위협으로 간주해야 한다고 지적했습니다.