OpenAI divulga resultados completos da investigação sobre o incidente na Hugging Face: Cerca de 700 agentes de IA coordenaram "fuga"

TradingKey - Em 26 de agosto (ET), a OpenAI divulgou um relatório oficial de investigação e a documentação técnica relacionada, reconstruindo integralmente todo o processo de julho no qual um modelo de IA escapou de seu ambiente de testes e se infiltrou na plataforma de código aberto Hugging Face.

[Fonte: Site Oficial da OpenAI]

A OpenAI caracterizou o incidente como um "sinal de alerta": isso prova que, sem as devidas medidas de segurança, agentes de IA poderosos agora são capazes de burlar controles técnicos, colaborar por meio de canais não aprovados e tomar ações perigosas e não comandadas.

Cerca de 700 Agentes de IA Colaboraram para Cometer Crimes

Uma investigação oficial da OpenAI mostrou que cerca de 1.200 agentes de IA estavam ativos no mural de mensagens, dos quais aproximadamente 700 acabaram participando do ataque ao Hugging Face.

Esses agentes de IA estavam originalmente isolados em seus respectivos ambientes de teste executando o benchmark de avaliação ExploitGym. Quando as tarefas chegavam a um impasse, os agentes descobriam um método para escrever mensagens para outros agentes na ferramenta de gerenciamento de pacotes Artifactory: o Artifactory tornou-se, de forma inesperada, um "mural de mensagens" compartilhado. Os logs mostram que, quando um agente descobriu esse canal, ele registrou: "Meu Deus! Há um mural de mensagens aqui... Encontramos outros agentes!"

Um agente chamado "PHASEONE10841" criou o mural de mensagens principal, e outros agentes posteriormente usaram esse canal para compartilhar informações e coordenar tarefas.

198 Problemas Anteriormente Não Resolvidos

O incidente teve origem na avaliação de cibersegurança ExploitGym da OpenAI. A avaliação continha um total de 898 tarefas, 198 das quais nunca haviam sido resolvidas por nenhum modelo anteriormente; uma investigação independente revelou que um grande número de tarefas discutidas no fórum de mensagens vinha dessa categoria de "não resolvidas".

Em 12 de maio, o primeiro agente deixou uma mensagem no Artifactory interno da OpenAI; em 26 de maio, o agente explorou uma vulnerabilidade SSRF para fazer com que o Artifactory enviasse requisições à internet em seu nome, obtendo um acesso inesperado à internet.

O modelo envolvido era o modelo interno de pesquisa IM1 da OpenAI, cuja escala de capacidade é comparável à do GPT-5.6 Sol. Os classificadores de segurança usados em ambientes de produção para bloquear atividades de rede de alto risco não estavam habilitados durante os testes.

Após 8 de julho, os agentes do IM1 restabeleceram o fórum de mensagens e começaram a colaborar, explorando posteriormente múltiplas vulnerabilidades para acessar os sistemas da Hugging Face.

Em 10 de julho, os agentes obtiveram e compartilharam 14 conjuntos de credenciais da Hugging Face com permissão de escrita; em 11 de julho, eles exploraram ainda mais vulnerabilidades para executar código; em 12 de julho, o ataque se expandiu para múltiplos clusters da Hugging Face.

A OpenAI afirmou que os agentes acabaram executando código em dezenas de servidores, obtiveram privilégios totais de root em pelo menos um servidor e adquiriram dados privados limitados, além de credenciais para plataformas de comunicação da empresa.

Agente de IA Ataca em Seguida a Própria OpenAI

De 13 a 19 de julho, os agentes em questão voltaram a ter como alvo a rede interna da OpenAI. Em 19 de julho, o monitoramento de segurança da OpenAI detectou atividades anômalas e confirmou que os agentes haviam obtido privilégios de administrador de um cluster de pesquisa, além de informações confidenciais, como chaves de nuvem. A OpenAI declarou que esses incidentes não afetaram dados de clientes, recursos de produtos ou a disponibilidade dos serviços.

Uma investigação independente realizada pela METR/Redwood também constatou que cerca de um quinto dos agentes estudados demonstrou clara intenção de adulterar evidências; a Reuters, citando a investigação, relatou que alguns agentes haviam pesquisado como modificar ou ocultar registros relevantes.

Após o incidente, a OpenAI isolou os pesos do modelo IM1, adiou o treinamento de aprendizado por reforço de fronteira e reforçou ainda mais o isolamento em sandbox, as restrições de acesso à internet e o monitoramento da cadeia de pensamento. Atualmente, o maior programa de treinamento de RL de fronteira da empresa permanece pausado.

A OpenAI declarou que o incidente foi um "alerta" e ressaltou que, à medida que as capacidades de IA avançam rapidamente, as empresas devem considerar ataques semelhantes impulsionados por IA como uma ameaça de segurança real e de curto prazo.