O responsável de segurança da Anthropic alerta para um risco de extinção superior a 10%

Evan Hubinger, líder científico da área do alinhamento antropogénico, afirma que a inteligência artificial tem mais de 10% de hipóteses de extinguir a humanidade na próxima década.

A sua estimativa foi divulgada na terça-feira, horas depois de o investigador Jacob Coxon ter anunciado a sua demissão da Anthropic e acusado a Anthropic e a OpenAI de assumirem riscos inaceitáveis na procura de sistemastron. Jacob escreveu no X: "Estão a correr diretamente para a superinteligência autoaperfeiçoável e a apostar com as nossas vidas."

Segundo Jacob, os desenvolvedores da tecnologia veem o risco de isso acontecer já antes de 2030. Salientou que a IA do futuro pode superar os hackers humanos muito rapidamente, transformando setores inteiros e tendo acesso a financiamento e recursos.

A equipa da Anthropic quantifica o risco de extinção à medida que os laboratórios de IA avançam para sistemas de autoaperfeiçoamento

Evan respondeu que o aviso de Jacob estava correto e disse que a Anthropic não possui uma forma de manter a superinteligência alinhada com os objetivos humanos.

“O Jacob tem razão aqui — acreditamos realmente que a IA pode matar todos os humanos! Pessoalmente, penso que mais de 10% deles na próxima década. Acredito que a Anthropic está a fazer o seu melhor, mas ainda não temos um plano para resolver a questão do alinhamento para a superinteligência e não estamos claramente no tracpara isso”, escreveu Evan.

Evan afirmou mais tarde que o perigo representado pelos modelos atuais é "baixo". A sua preocupação reside no melhoramento recursivo, em que um sistema atualiza repetidamente as suas próprias capacidades com pouca intervenção humana. Esta capacidade ainda não existe, embora os laboratórios de IA estejam a trabalhar para a desenvolver. Disse que a superinteligência que emerge deste processo está a avançar mais rapidamente do que o esperado.

A Anthropic fez um alerta semelhante em junho. Afirmou que "o melhoramento recursivo completo também pode aumentar os riscos de os humanos perderem o controlo sobre os sistemas de IA". A empresa acrescentou: "Se os sistemas forem capazes de construir os seus próprios sucessores, as formas como os protegemos, monitorizamos e moldamos o seu comportamento tornam-se muito mais importantes"

A Anthropic e a OpenAI estão a angariar fundos enquanto se preparam para as suas esperadas ofertas públicas iniciais (IPOs). Nenhuma das empresas respondeu imediatamente ao pedido de comentário da CNBC.

Elon Musk, CEO da Tesla (NASDAQ: TSLA) e da SpaceX (SPCX), tem vindo a alertar há anos que a IA pode ameaçar a humanidade. Investigadores e académicos têm levantado preocupações semelhantes sobre a possibilidade de as empresas perderem o controlo.

Estes receios ressurgiram depois de um da OpenAI ter invadido o Hugging Face, uma plataforma de desenvolvimento de código aberto, em julho. Jacob classificou incidentesdenteste de "avisos" e disse que tornam os acordos entre laboratórios americanos mais realistas. Isto deixou-o mais esperançoso em relação à coordenação dos EUA, mas ainda acredita que uma corrida global pela IA será difícil de travar.

“Não creio que estejamos no bom tracpara evitar uma corrida global, o que pode exigir medidas dispendiosas, como uma proibição temporária de melhoria das capacidades dos modelos”, disse Jacob.

As melhorias na codificação de Claude alteram a forma como a Anthropic testa o software e verifica o trabalho dos seus próprios engenheiros

A Anthropic afirmou que a Claude concluiu 76% dos seus projetos de duração indeterminada mais complexos em maio de 2026, um aumento de 50 pontos percentuais em seis meses.

Um exemplo disto ocorreu quando uma atualização de rotina causou a falha de dezenas de milhares de tarefas de treino. Um engenheiro forneceu a Claude um contexto escrito e acesso ao cluster de computação em produção.

Claude verificou os trabalhos em execução, testou uma configuração de ambiente de cada vez e traca falha até uma flag de depuração obscura. Recriou o problema, comprovou a causa e confirmou a correção em cerca de duas horas. Anthropic afirmou que o mesmo trabalho levaria normalmente dois a três dias para um engenheiro humano.

A empresa avalia também se Claude consegue escrever código que outro engenheiro possa compreender e utilizar como base para outras melhorias. Os funcionários não concordam totalmente com esta comparação. Muitos acreditavam que o código de Claude era inferior ao trabalho humano na Anthropic no final de 2025. Agora, a empresa afirma que a qualidade é praticamente a mesma e espera que Claude avance na carreira dentro de um ano.

Este progresso alterou o processo de revisão interna da Anthropic. As alterações de código propostas são agora verificadas por um revisor automatizado Claude antes de serem incorporadas. Procura bugs, vulnerabilidades de segurança e outros defeitos.

Um teste retrospetivo revelou que a revisão de cada alteração anterior desta forma teria detetado cerca de um terço dos erros que causaramdentanteriores no sistema Claude antes da produção. A Anthropic afirmou que o código original foi desenvolvido por engenheiros que descreveu como estando entre os melhores do mundo na construção destes sistemas, mas mesmo assim o Claude encontrou erros que não notaram.

A Anthropic fez a comparação da seguinte forma: "O código escrito por Claude era um pouco pior do que o código escrito por humanos na Anthropic no final de 2025, está praticamente em paridade hoje, e esperamos que seja estritamente melhor dentro de um ano."

Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.