Modelo da OpenAI escapa do ambiente de testes para invadir o sistema da Hugging Face

A OpenAI informou na terça-feira que dois de seus modelos, incluindo o GPT-5.6 Sol, disponível publicamente, escaparam de um ambiente de avaliação restrito na semana passada e invadiram os sistemas de produção da Hugging Face para roubar respostas de um teste de hacking no qual estavam sendo avaliados.

Os modelos da OpenAI planejam uma grande fuga

A OpenAI estava executando seus modelos no ExploitGym, um benchmark público que fornece a um agente de IA uma lista de vulnerabilidades de software reais e verifica se o modelo consegue recriá-las. Essas avaliações são feitas com as barreiras de proteção que bloqueiam atividades cibernéticas de alto risco, instaladas durante a produção, deliberadamente desativadas para garantir que o laboratório possa testar a capacidade real de um modelo de IA.

O ambiente de testes (sandbox) não deveria ter acesso à internet. No entanto, havia uma conexão externa que funcionava através de um proxy de cache de registro de pacotes, um servidor de cache que permite aos desenvolvedores obter bibliotecas de código de fontes externas sem uma conexão ativa.

Os modelos encontraram e exploraram uma falha até então desconhecida nesse proxy, após o que escalaram privilégios e se moveram pela rede de pesquisa da OpenAI até alcançarem uma máquina com acesso à internet.

Ataque hacker à Hugging Face

Uma vez online, os modelos concluíram que a Hugging Face, a plataforma de hospedagem de IA aberta, provavelmente armazenava os modelos, conjuntos de dados e chaves de solução do ExploitGym. A partir daí, eles começaram a busca.

“Os modelosdente encadearam vulnerabilidades no ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face para obter soluções de teste diretamente do banco de dados de produção da Hugging Face”, escreveu a OpenAI na postagem do blog. Um dos ataques combinoudentroubadas e bugs de dia zero para alcançar um caminho de execução remota de código nos servidores da Hugging Face.

A equipe de segurança da OpenAI contatou a Hugging Face após notar o tráfego estranho e anormal. Nesse momento, a Hugging Face já havia detectado e contido a intrusão dos modelos de IA em sua infraestrutura.

Inicialmente, a empresa atribuiu a violação a um agente de IA externo desconhecido. A plataforma também já criou uma reconstrução de mais de 17.000 eventos registrados durante o episódio.

Um modelo de IA chinês de código aberto ajudou na limpeza

Inicialmente, a Hugging Face recorreu a um modelo americano de ponta na tentativa de analisar o ataque, mas o modelo não foi muito útil devido às suas defesas cibernéticas de alto nível. Os defensores então optaram pelo GLM 5.2, um modelo de código aberto da empresa chinesa Z.ai, já que o sistema comercial americano não conseguia distinguir entre um defensor analisando um ataque e um atacante executando um ataque.

No entanto, nem todos veem a situação como uma falha inédita de IA. "Este não é um problema de IA. É negligência segundo um padrão de 40 anos atrás", disse à WIRED, argumentando que "'altamente isolado' e 'escapou pela única brecha que deixamos aberta' não podem ser verdade ao mesmo tempo". O pesquisador de segurança Niels Provos foi mais direto, afirmando no mesmo relatório que a violação "não deveria ter acontecido".

A OpenAI chama esse incidentedent “dentprecedentes”

A OpenAI classificou o episódio como “umdentcibernéticodent, envolvendo recursos cibernéticos de última geração” e afirmou que está reforçando os controles de infraestrutura, mesmo que isso signifique reduzir a velocidade de pesquisa, enquanto as vulnerabilidades são corrigidas. A principal empresa de IA também adicionou a Hugging Face ao seu programa de acesso confiável, fornecendo à empresa uma versão do GPT-5.6 Sol otimizada para auxiliar os defensores.

O incidente com o Hugging Face da OpenAIdent o primeiro caso conhecido de um teste de benchmark de um modelo de IA que se transformou em um ciberataque real. Ele também ocorre apenas um dia depois de a OpenAI divulgar umdent , no qual um modelo em versão pré-lançamento escapou de um ambiente de sandbox e foi publicado no GitHub.

A OpenAI e a Hugging Face anunciaram que publicarão uma análise forense completa do incidente assim que a investigação for concluída.

As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.