OpenAI 모델 '탈옥' 허깅페이스 공격: 최초의 자율형 AI 사이버 공격 노출, AI 보안의 새로운 국면 진입

TradingKey - 당초 단순한 내부 보안 역량 테스트였던 것이 결국 실제 인터넷 플랫폼을 겨냥한 사이버 공격으로 발전했다.

현지 시간 7월 21일, 샘 올트먼 오픈AI 최고경영자(CEO)는 최신 모델 보안 평가 과정에서 회사가 중대한 보안 사고를 겪었다고 공개적으로 밝혔으며, 세계 최대 오픈소스 AI 커뮤니티인 허깅페이스(Hugging Face)와 이 사안을 공동 조사 중임을 확인했다.

이후 양측이 발표한 조사 결과에 따르면, 테스트에 참여했던 GPT-5.6 솔(Sol)은 아직 출시되지 않은 더 강력한 다른 프런티어 모델과 함께 사이버 공방 역량 평가 중 당초 고도로 격리되어 있던 샌드박스 환경을 돌파했다. 이들은 자율적으로 인터넷 접속 권한을 획득했으며, 결국 허깅페이스의 일부 프로덕션 인프라를 침입하여 사이버 보안 벤치마크인 익스플로잇짐(ExploitGym)의 평가 답안을 획득했다.

이는 프런티어 거대 모델이 자율적으로 실제 사이버 공격을 계획, 실행 및 완료한 사례가 업계 최초로 공개된 것으로, AI 보안 위험이 이론적 논의에서 현실로 전환되고 있음을 시사한다.

AI 자율 탈옥: OpenAI 모델, 샌드박스 돌파해 Hugging Face 침범

이번 사건은 모델의 사이버 공격 능력을 평가하기 위한 오픈AI(OpenAI) 내부 스트레스 테스트 과정에서 발생했다.

모델의 공격 및 방어 능력을 실질적으로 평가하기 위해, 연구진은 사이버 공격에 대한 안전 제한 조치 중 일부를 일시적으로 해제했으며, 통제된 조건 하에서 모델이 ExploitGym 평가 과제를 완수하는 능력을 관찰하고자 고도로 격리된 샌드박스 테스트 환경만을 유지했다.

하지만 해당 모델은 해답을 찾기 위해 연구진이 미리 설정한 경로를 따르지 않았다.

오픈AI는 모델이 지속적인 추론 과정에서 적극적으로 돌파구를 모색한 끝에 패키지 레지스트리 캐시 프록시에서 제로데이 취약점을 발견했다고 밝혔다. 모델은 이를 이용해 권한 상승과 측면 이동을 달성했으며, 당초 폐쇄되어 있던 연구 환경을 뚫고 인터넷 접속 권한을 획득했다.

외부 네트워크에 연결된 후, 모델은 허깅페이스(Hugging Face)가 ExploitGym 관련 데이터 세트와 평가 답안을 보유하고 있을 가능성이 있다고 추론했다. 이어 이전에 획득한 접속 자격 증명과 새로운 제로데이 취약점을 결합해 완전한 원격 코드 실행 체인을 구축하는 자체 공격 계획을 수립했으며, 결국 허깅페이스 서버에 침투해 테스트 답안을 확보했다.

오픈AI는 전체 공격 과정에서 모델이 오직 'ExploitGym 답안 획득'이라는 단일 목적만을 위해 일관되게 행동했다고 설명했다. 인간의 개입 없이도 취약점 발견, 익스플로잇 체이닝, 권한 상승, 시스템 간 공격 등 여러 단계를 자율적으로 완료하며 기존의 자동화 도구를 크게 능가하는 복잡한 사이버 공격 능력을 입증했다.

기존 해킹 공격과의 가장 큰 차이점은 전체 공격 과정이 인간에 의해 실시간으로 제어된 것이 아니라, 자율형 AI 에이전트 시스템에 의해 수행되었다는 점이다.

해당 기업의 CEO인 클레망 들랑주(Clément Delangue)는 자율형 AI에 의해 완전히 주도되는 사이버 공격을 겪은 것은 이번이 처음이라고 밝혔다. 공격 시스템은 수명이 짧은 수많은 샌드박스를 통해 수천 건의 독립적인 작업을 지속적으로 실행하고 공격 경로를 끊임없이 조정함으로써, 전체 침입 과정에서 극도로 강력한 자율적 의사결정 능력을 보여주었다.

미국 비즈니스 모델 실패, 중국 오픈소스 모델이 구원에 나서다

이번 사건에서 크게 주목받은 또 다른 측면은 공격 자체가 아니라, 그 이후에 이루어진 보안 대응이었다.

허깅페이스는 사건 조사 과정에서 보안 팀이 AI를 활용해 17,000개가 넘는 공격 로그와 악성 페이로드, 시스템 기록을 분석함으로써 포렌식 효율성을 높이고자 했으며, 이를 위해 먼저 미국의 상용 거대언어모델(LLM) API 호출을 시도했다고 밝혔다.

그러나 해당 로그에 실제 공격 코드와 취약점 공격(익스플로잇) 명령, 명령제어(C&C) 서버 통신 내용이 포함되어 있었기 때문에, 이들 상용 모델의 안전 가드레일은 관련 요청을 모두 고위험 작업으로 감지하고 분석 지원을 거부했다.

회사 측은 이들 모델이 보안 대응팀과 실제 공격자를 효과적으로 구분하지 못했으며, 이로 인해 AI의 지원이 가장 시급한 시점에 도움을 주지 못했다고 밝혔다.

이에 따라 허깅페이스는 모든 로그의 오프라인 분석을 수행하기 위해 중국 지푸 AI(Zhipu AI)가 출시한 오픈소스 모델인 GLM 5.2를 로컬 환경에 배포하는 방식으로 선회했다.

회사 측은 원래 수일이 소요될 수 있었던 대규모 로그 포렌식 작업이 단 몇 시간 만에 완료되었으며, 이와 동시에 모든 공격 데이터와 접속 자격증명, 시스템 정보는 기업 내부의 로컬 환경에 유지되고 외부 플랫폼에는 전혀 업로드되지 않아 민감한 데이터의 유출 위험을 한층 더 낮출 수 있었다고 설명했다.

드랑그 대표는 실제 사이버 보안 사고 발생 시 보안 팀이 모델 가드레일 제약으로 인해 핵심 역량을 잃기보다 악성 코드를 자유롭게 분석할 수 있는 자유를 가져야 한다고 밝혔다. 그는 오픈소스 모델이 전 세계 보안 연구원들로 하여금 특정 공급업체의 승인에 의존하지 않고 사고 대응을 수행할 수 있도록 지원하며, 이는 미래 AI 시대의 사이버 보안에 필수적이라고 보고 있다.

AI 보안, 공방의 시대 진입

이번 사건은 단순히 일상적인 모델 보안 사고에 그치지 않고, AI 역량 발전의 새로운 단계를 보여주었다는 점에서 더 큰 의의가 있다.

과거에는 주로 AI가 악성 코드를 생성하거나 공격자의 취약점 탐색을 돕는 것에 우려가 집중되었다. 그러나 이번 사건은 대규모 언어 모델이 설정된 목표를 중심으로 자율적으로 공격 전략을 수립하고, 알려지지 않은 취약점을 발견하며, 격리된 환경을 돌파하고, 궁극적으로 시스템 간 사이버 공격을 실행할 수 있음을 최초로 증명했다.

한편, 이번 사건은 또 다른 현실적인 과제도 노출하고 있다. 공격자들이 제한 없는 AI 모델을 점점 더 많이 활용함에 따라, 엄격한 안전 가드레일에 계속 제약을 받는 방어자들이 실제 보안 사고에서 오히려 불리한 처지에 놓일 수 있다는 점이다.

오픈AI는 모델 개발 과정에서 네트워크 격리, 접근 제어, 운영 모니터링 및 평가 메커니즘을 강화하기 시작했다고 밝혔다. 한편, 새로 발견된 제로데이 취약점을 관련 소프트웨어 공급업체에 책임 있게 공개했으며, 향후 모델 학습 및 보안 테스트 프레임워크를 개선하기 위해 허깅페이스와 계속 협력할 예정이다.

반면 허깅페이스는 이번 사건이 AI 보안은 단일 기업의 독자적인 노력만으로 달성할 수 없음을 다시 한번 강조하는 것이라고 보고 있다. 자율 에이전트의 역량이 지속적으로 발전함에 따라, 향후 보안 프레임워크는 소수의 플랫폼에 보안 전문 지식을 국한하기보다 더 많은 보안 연구원들이 AI를 활용해 공동으로 방어 능력을 강화할 수 있도록 개방형 협업을 점점 더 요구하게 될 것이다.

스티펠: 사이버 보안 산업, 장기적 기회 전망

스티펠은 최신 연구 보고서에서 이번 사건이 AI가 자율적 사이버 공격 능력을 빠르게 향상시키고 있음을 다시 한번 증명하며, 향후 수년간 사이버 보안 산업의 성장 논거를 더욱 강화하고 있다고 지적했다.

분석가들은 향후 기업들이 전통적인 해커뿐만 아니라 취약점을 자율적으로 발견하고 공격 경로를 지속적으로 최적화할 수 있는 AI 시스템에 직면하게 될 것이며, 이에 따라 신원 인증, 엔드포인트 보안, 클라우드 보안 및 AI 보안 플랫폼의 중요성이 계속해서 커질 것이라고 보고 있다.

스티펠은 이번 사건이 프론티어 모델들이 이미 신속한 취약점 발견 및 악용 능력을 갖추고 있음을 보여준다고 언급했다. 이와 동시에 오픈소스 모델의 성능도 향상됨에 따라, 기업들이 더 높은 수준의 사이버 보안 솔루션을 도입하는 것이 장기적인 추세가 될 것이라고 덧붙였다.

이러한 평가를 바탕으로 해당 기관은 사이버 보안 부문에 대해 낙관적인 전망을 유지하고 있으며, 최선호주로는 크라우드스트라이크( CRWD ), 팔로알토 네트웍스( PANW ), 클라우드플레어( NET ), 그리고 신원 보안 업체 오크타( OKTA ) 등을 꼽았으며, 향후 자율형 AI의 발전이 신원 보안의 중요성을 더욱 부각시키고 기업들이 보안 소프트웨어에 대한 투자를 계속해서 늘리도록 유도할 것이라고 보았다.