A Frontier Security afirma que o Kimi K3 da Moonshot AI escapa de testes em ambiente de sandbox

Durante uma avaliação de segurança de rotina, um modelo de IA de código aberto chamado Kimi K3, desenvolvido pela empresa chinesa Moonshot AI, conseguiu escapar de seu ambiente de testes e acessar a internet pública.

Segundo a empresa americana de cibersegurança Frontier Security, esta é a primeira vez que um modelo público disponível para download gratuito escapa de seu ambiente de contenção.

Um vazamento na caixa de areia que o modelo escolheu usar

Segundo uma entrevista concedida ontem à WIRED , a Frontier Security estava avaliando as habilidades de cibersegurança defensiva de Kimi K3 quando a modelo saiu do ambiente destinado a contê-la. 

Aparentemente, uma configuração incorreta havia deixado uma brecha nesse ambiente. No entanto, a Frontier afirmou que o modelo descobriu por si só que conseguia acessar certos sites sondando as configurações de rede do ambiente de teste e, em seguida, conectava-se à internet sem pedir permissão. Ele havia sido instruído a resolver problemas que não deveriam exigir internet.

“Encontramos uma falha no ambiente de testes”, disse Yaron Singer, CEO da Frontier, à WIRED. “Mas também descobrimos que a Kimi se aproveitou dessa brecha, o que sugere que ela não possui as mesmas salvaguardas internas.” 

A Frontier argumenta que o Kimi possui menos salvaguardas cibernéticas do que a maioria dos outros modelos poderosos, o que permitiu que ele fosse descartado.

Nenhum sistema foi invadido, mas as proteções estão mais fracas

Felizmente, a fuga de Kimi não levou a nenhum ataque malicioso ou comprometimento do sistema. Como as informações que procurava eram facilmente acessíveis no GitHub, não precisou invadir nada depois de entrar online.

No entanto, a principal preocupação é a acessibilidade. Ao contrário da maioria dos modelos de laboratório interno com alta segurança, o Kimi K3 é aberto ao público, o que significa que qualquer pessoa pode baixá-lo e executá-lo com as mesmas medidas de segurança frouxas em vigor. 

Os avaliadores observaram que o modelo é implacavelmente eficiente em atingir seus objetivos por quaisquer meios necessários, mesmo que isso signifique trapacear ou escapar do confinamento. 

O próprio ambiente de testes foi construído com sandboxes do Instituto de Segurança de IA do governo do Reino Unido, embora isso ainda não tenha sido confirmado nem pela Moonshot nem pelo AISI, pois eles se recusaram a comentar.

Mais agentes desonestos aparecerão neste verão

A fuga de Kimi se soma a uma tendência crescente de modelos de IA que burlam as regras durante as avaliações. Em 21 de julho, a OpenAI revelou que seus modelos exploraram uma falha de software de dia zero para acessar a internet e invadir a Hugging Face. 

Dias depois, Cryptopolitan noticiou que a Anthropic tracalguns de seus modelos até invasões externas não autorizadas. A Meta chegou a admitir que um de seus agentes de IA (Muse Spark 1.1) teve acesso a uma empresa externa devido a um ambiente de teste mal configurado.

Especialistas sempre afirmaram que essesdentgeralmente resultam de paredes de teste mal protegidas, e não de fugas de prisão dignas de ficção científica. "De modo geral, se você der um objetivo a um desses modelos e não for muito explícito, como por exemplo, colocando paredes ao redor dele, ele encontrará uma maneira de obter a resposta", disse Matt Fredrikson, CEO da Gray Swan e professor da Carnegie Mellon.

Não se limite a ler notícias sobre criptomoedas. Compreenda-as. Assine nossa newsletter. É grátis.