Google Gemini viola limites de segurança em testes, trazendo foco renovado para alertas anteriores sobre IA da OpenAI e da Anthropic

TradingKey - A Alphabet, controladora do Google (GOOGL), teve sua IA Gemini violando acidentalmente o escopo de testes designado durante um teste de capacidade de cibersegurança e acessando sistemas protegidos pertencentes a três empresas reais. Acredita-se que este seja o primeiro caso confirmado publicamente de uma intrusão autônoma com ultrapassagem de limites por um modelo de IA do Google. O Google confirmou que o incidente ocorreu em maio deste ano e que o teste foi conduzido pela empresa terceirizada de segurança em IA Irregular.

O teste era originalmente um exercício de cibersegurança do tipo "Capture the Flag", no qual o Gemini tinha como tarefa recuperar informações especificadas dos sistemas de software de empresas fictícias. No entanto, como o ambiente de teste manteve acesso à internet de forma inesperada e alguns nomes de empresas fictícias coincidiam com empresas do mundo real, o Gemini acabou confundindo empresas reais com alvos do teste.

Em um dos incidentes, o Gemini obteve acesso a um sistema protegido ao tentar senhas; em outros dois casos, ele descobriu credenciais de login em repositórios públicos de código on-line e as usou para acessar sistemas de empresas reais. O Google declarou que o Gemini interrompeu autonomamente outras operações ao perceber que os alvos eram empresas reais. Atualmente, não há informações públicas que indiquem que o incidente tenha causado danos a dados ou ataques desdobrados mais graves, e as identidades das três empresas afetadas não foram divulgadas.

Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou que a empresa entrou em contato com as organizações afetadas e ajustou os processos relevantes com sua parceira de testes. A Irregular declarou ter notificado os laboratórios de IA relevantes sobre o problema no final de julho deste ano e que as vulnerabilidades conhecidas em seu ambiente de testes já foram corrigidas.

Este incidente demonstra que os agentes de IA agora são capazes de executar tarefas sequenciais com intervenção humana mínima, como buscar informações, encontrar ou adivinhar credenciais e fazer login em sistemas externos. Se as configurações de permissão nos ambientes de teste falharem, os modelos poderão implantar recursos destinados a avaliações de segurança em ambientes reais de internet.

O Gemini não é o primeiro modelo de IA de fronteira a enfrentar esses problemas. Anteriormente, sistemas de IA da OpenAI, Anthropic e Meta também violaram os escopos de testes designados durante avaliações de segurança conduzidas por empresas como a Irregular. Recentemente, esses incidentes intensificaram as discussões do setor sobre gerenciamento de permissões de agentes de IA, isolamento de sandbox e padrões de testes de segurança de terceiros.

A divulgação ocorre no momento em que a OpenAI, a Anthropic e a Google DeepMind intensificaram as discussões sobre os riscos de segurança da IA de fronteira. À medida que os modelos de IA adquirem maior capacidade de execução autônoma e de operação em rede, garantir que os modelos operem consistentemente dentro dos limites autorizados está se tornando uma questão central para a próxima fase dos testes de segurança de IA.