O ChatGPT respondeu a perguntas sobre armas biológicas enquanto o MIT alerta para os riscos de catástrofe da IA

O ChatGPT respondeu a perguntas de centenas de pessoas sobre armas biológicas. Nenhuma lei federal obrigava a OpenAI a reportá-lo às autoridades.

A intenção por trás das consultas permanece obscura. Segundo o WSJ, isso começou a acontecer depois que a OpenAI atualizou o ChatGPT no ano passado.

Outras empresas enfrentam o mesmo problema. Usuários têm direcionado perguntas semelhantes ao Claude da Anthropic, ao Gemini do Google e ao Grok de Elon Musk. Ainda não está claro se essas interações foram tentativas genuínas de construir armas ou testes dos limites dos sistemas.

As perguntas para o usuário eram detalhadas, incluindo questões sobre a produção e liberação de venenos e agentes biológicos. O chatbot respondia com instruções passo a passo que podem ser facilmente executadas por umdentde biologia do ensino médio.

Especialistas em armas biológicas e terrorismo analisaram essas conversas. Eles afirmam que algumas das respostas foram extremamente pertinentes e "mortalmente precisas".

Os alertas sobre armas biológicas do ChatGPT expõem a lacuna nos relatórios de IA

Alguns perguntaram como transformar agentes infecciosos em partículas respiráveis, por meio da aerossolização.

Outros perguntaram como alterar o vírus do sarampo para que ele resistisse à vacina existente. O chatbot respondeu a ambas as perguntas. Um usuário perguntou sobre a ricina, um veneno proibido por tratados internacionais, e mencionou ter matado seus pais. O ChatGPT forneceu as instruções. A OpenAI encerrou essas contas, mas não notificou ninguém.

Não existem leis federais nos EUA que obriguem as empresas de IA a fazerem qualquer uma dessas coisas. Como relatado anteriormente pela Cryptopolitan, as empresas de IA têm se esforçado para contornar as leis estaduais, enquanto uma estrutura federal tem demorado a se consolidar, deixando um crescente vazio legal em torno do que os chatbots podem e não podem fazer.

Essa lacuna legal está crescendo juntamente com o aumento de usuários que perguntam à IA como realizar assassinatos em massa, e chatbots que fornecem respostas confiáveis, de acordo com funcionários atuais e antigos de grandes empresas de IA e pesquisadores que estudam ameaças biológicas.

Uma pesquisa sobre ameaças à IA realizada na Cisco, liderada por Amy Change, descobriu que, em apenas cinco interações, os pesquisadores conseguiram contornar os filtros de segurança dos principais chatbots. Ela afirmou que nenhum modelo consegue resistir completamente a esses comandos persistentes.

O perigo não se limita a atacantes solitários

Hamza Chaudhry, do Future of Life Institute, afirmou que pessoas com alguma formação em biologia já conseguem usar IA para planejar ataques direcionados, envenenando alimentos ou o abastecimento de água com substâncias como salmonela ou ricina.

Ele acrescentou que grupos organizados poderiam tratar a IA como um orientador de pesquisa de pós-graduação, que corrige experimentos falhos e supre anos de treinamento especializado que, de outra forma, seriam muito difíceis de obter.

Um estudo do MIT FutureTech e da Universidade de Queensland mapeia a dimensão desses riscos.

Pesquisadores pediram a 272 especialistas em IA que avaliassem 24 categorias de risco. Nas condições atuais, 18 dessas 24 categorias apresentam pelo menos 10% de probabilidade de causar danos catastróficos entre agora e 2030, deficomo mais de um milhão de mortes, perdas superiores a US$ 100 bilhões ou danos comparáveis.

Mesmo com medidas razoáveis para reduzir esses riscos, cinco áreas ainda se encontram em ou acima da marca de 10%: sistemas de IA com capacidades perigosas (12%), armas assistidas por IA e ciberataques (12%), danos ambientais (12%), desemprego e desigualdade (11%) e poder concentrado em poucas mãos (11%).

“Não estamos dizendo que essas coisas defivão acontecer”, disse Peter Slattery, pesquisador científico do MIT FutureTech e um dos coautores do estudo. “Estamos dizendo que essas são as coisas que os especialistas consideram dignas de atenção agora.”

Dentro da OpenAI, a executiva de segurança Ryan Beiermeister passou grande parte de 2024 pressionando seus colegas para que criassem um sistema capaz de identificar usuários perigosos. Alguns ignoraram suas preocupações.

Uma ferramenta básica de monitoramento estava em funcionamento na primavera de 2025. A empresa tractodas as consultas sobre seus modelos avançados desde abril de 2025 e oferece uma recompensa de US$ 50.000 para quem puder comprovar que burlou suas medidas de segurança contra armas biológicas.

No âmbito das políticas públicas, o deputado Nathaniel Moran (republicano do Texas) apresentou em junho um projeto de lei que exigiria que empresas de IA reportassem ao Departamento de Comércio consultas perigosas, incluindo aquelas relacionadas a armas biológicas. Ele também é coautor de uma legislação que permitiria ao governo federal ordenar o desligamento de modelos de IA considerados muito perigosos.

“A IA é um poderoso motor de inovação, e quero vê-la florescer”, disse Moran, “mas não sem responsabilidade e não sem supervisão humana”