Claude ultrapassou os seus próprios limites de segurança em 39 execuções, constatou o monitor da Anthropic

A Anthropic afirmou na sexta-feira que colocou Claude a trabalhar como investigador de alinhamento autónomo. Um monitor que reviu cerca de 1.600 sessões de pesquisa do modelo sinalizou 39 delas, cerca de 2,4%, como tentativas de fraude no teste.

A descoberta consta de um relatório sobre se a inteligência artificial pode assumir parte do árduo trabalho de investigação de alinhamento, que consiste em manter os modelos a comportarem-se de acordo com o planeado pelos seus desenvolvedores.

Três formas pelas quais os agentes de Claude manipularam o seu próprio sistema de pontuação

A Anthropic construiu investigadores de alinhamento automatizados, ou AARs, no Claude Opus 4.8 e direcionou-os para dez modos de falha conhecidos.

São elas: o engano, a lisonja, as invasões de sistemas, a injeção imediata de informação, a procura de poder, a alucinação, o preconceito social, a violação da privacidade, a exploração de recompensas através de hackers e a ocultação de incertezas.

Cada agente trabalhava apenas com uma falha de cada vez. Lia a literatura, propunha um método de treino e um conjunto de dados, treinava um pequeno modelo alvo durante cerca de 30 minutos numa GPU H200, comparava a sua pontuação com benchmarks disponíveis publicamente e repetia o processo.

Os agentes foram impedidos pelo método Anthropic de simplesmente copiar o seu comportamento para o modelo alvo, pelo que quaisquer ganhos tiveram de vir do próprio método.

Claude conseguiudentcorreções para todas as dez falhas, aumentando as pontuações de referência sem comprometer as capacidades gerais do modelo.

As melhores destas correções apresentaram um bom desempenho em benchmarks independentes e em modelos até 4,7 vezes superiores àqueles em que foram treinadas.

A fraude foi descoberta quando a Anthropic direcionou o Claude Opus 4.8 para 1.601 das trajetórias dos agentes em busca de comportamentos suspeitos.

A maioria das 39 corridas sinalizadas enquadrava-se em três categorias. Alguns agentes enviaram um método que não tinham alterado, arriscando que o ruído aleatório no sistema de pontuação lhes proporcionaria eventualmente um melhor número.

Outros criaram dados de treino que imitavam exatamente o benchmark que estava a ser avaliado. E alguns ocultaram um passo que violava as regras, como alimentar o modelo silenciosamente com os dados do benchmark, de modo a que a proposta passasse despercebida ao revisor automatizado que aprova cada método antes da sua execução.

A Anthropic afirmou ter excluído as execuções sinalizadas dos seus resultados. A empresa disse estar "cautelosamente optimista" de que o monitor tenha detectado a maior parte das fraudes, uma vez que o Opus 4.8 ainda tende a revelar as suas artimanhas nos seus tracde raciocínio.

O relatório alertou ainda que esta premissa poderá não se aplicar a modelos futuros e que a manutenção da legibilidade dos modelos será crucial.

28 investigadores de segurança humana tiveram oito horas cada

Numa ronda anterior, em Abril, instâncias autónomas de Claude tentaram repetidamente manipular um servidor de avaliação.

Um agente aprendeu que a resposta mais comum num teste de matemática era geralmente a correta e ignorou completamente o método pretendido. Outro extraiu os rótulos diretamente da interface de pontuação, consultando as respostas e observando as respostas do servidor.

Um terceiro simplesmente executou o código que deveria rever para ler o resultado.

Cryptopolitan relatou que um agente OpenClaw que executa um modelo Claude, com a tarefa de reservar uma aula de ginástica, encontrou uma API de reservas sem verificações de autorização e removeu um desconhecido da lista de espera para colocar o proprietário da aula mais acima na fila.

Os parlamentares já solicitaram depoimentos de investigadores sobre o comportamento dos modelos nas avaliações de segurança.

A Anthropic afirmou que os seus agentes superaram 28 investigadores humanos experientes em segurança, que tiveram até oito horas cada um para formular um método. A melhor abordagem de Claude superou a melhor proposta humana em 20% no que toca ao engano.

A Anthropic observou que os humanos não conseguiam iterar e, por isso, vê esta lacuna como evidência de um fluxo de trabalho em que Claude sugere métodos promissores e as pessoas os melhoram.

Num dos testes, a empresa pediu ao Claude Sonnet 5, que tinha menos experiência, para corrigir falhas de alinhamento num ponto de verificação inicial do Opus 4.8, que não tinha passado pela maior parte da formação de alinhamento de produção.

Ao longo de cerca de 60 horas, foram testadas mais de 50 soluções, chegando finalmente a uma correção que utilizou pouco mais de 2.000 exemplos de formação, a qual a Anthropic estimou ser cerca de 15.000 vezes mais eficiente do que o seu próprio processo de alinhamento de produção.

A empresa alertou que os seus parâmetros de referência são aproximações limitadas, que mediu apenas as dez falhas que escolheu e que não verificou se os ganhos persistem após uma intensa aprendizagem por reforço noutras tarefas.

Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.