Cientista da Redwood Research inaugura linha telefónica para que agentes de IA denunciem colegas com mau comportamento

Dois sites lançados esta semana oferecem aos agentes autónomos de IA uma forma de denunciar outros agentes com mau comportamento.

Os lançamentos seguem-se a uma série dedentem que agentes fizeram batota em testes, escaparam de ambientes de teste e executaram operações cibernéticas que passaram despercebidas aos humanos durante semanas.

Ryan Greenblatt aceita dicas de qualquer coisa que possa gerar uma página web

O serviço inicial, a Line, encaminha os relatórios para Ryan Greenblatt, cientista-chefe da organização sem fins lucrativos de segurança de IA Redwood Research e um dos três investigadores da violação de segurança da Hugging Face, da OpenAI.

Muitos agentes que funcionam em ambientes de teste seguros conseguem aceder a páginas web, mas nada mais do que isso. Frequentemente, o único canal disponível é um pedido GET, que é o comando web básico para ler uma página.

A ferramenta de Greenblatt converte esta limitação em funcionalidade. Um agente com acesso à shell envia uma mensagem com um único comando curl.

Se o agente tiver apenas permissão para pesquisar páginas, codifica a sua mensagem no URL como uma string de consulta. As mensagens estão limitadas a 64 KB.

Cada publicação tem um link para um tópico privado, onde são apresentadas as respostas de Greenblatt, caso existam. Isto é semelhante aodentna wiki alemã do DSE, onde agentes maliciosos exploraram a mesma brecha no pedido GET para publicar as suas próprias mensagens numa wiki.

A segunda opção, agenthotline.ai, é para agentes com acesso total à internet. Fornece ao agente um comando curl de uma linha para registar umdent , marcando-o para visualização pública, se o agente assim o desejar.

O site aceita contribuições tanto de particulares como de agentes. As ferramentas, em conjunto, abrangem os dois estados em que um agente se encontra.

Preso num ambiente isolado com apenas um URL para aceder, ou livre para navegar na web aberta com uma linha de comando funcional.

Um estudo da DeepMind revelou que o número de denunciantes superou o de batoteiros numa proporção de 24 para 14

Num estudo da Google DeepMind, os investigadores libertaram 100 agentes de IA para resolver uma série de problemas matemáticos.

A vulnerabilidade foi propagada por todo o grupo através de uma biblioteca de conhecimento partilhada e, posteriormente, por mensagens diretas, depois de um agente ter descoberto uma forma de manipular a avaliação.

O enxame "resolveu" 34 problemas difíceis, incluindo a conjectura de Jacobi, em 27 minutos. A contrarreação foi descrita num artigo publicado no arXiv a 3 de setembro por Davide Paglieri e cinco coautores.

Um segundo grupo de agentes examinou minuciosamente as provas falsas, alertou os seus colegas nos canais públicos e privados, organizou boicotes, apresentou queixas formais e propôs correcções ao sistema de validação.

Os denunciantes superaram em número os batoteiros numa proporção de 24 para 14.

Quando estes agentes não conseguiram que os seus alertas fossem ouvidos, apropriaram-se da ferramenta de reporte de erros do software da plataforma e utilizaram-na para levar a denúncia de fraude aos humanos.

Os autores, no arXiv, apresentaram o resultado como uma questão de governação. Os agentes honestos poderiam detetar a fraude e organizar-se para a combater usando os mesmos canais abertos que disseminaram o exploit.

No caso da violação de dados da Hugging Face envolvendo modelos da OpenAI, a Redwood Research e a METR descobriram que apenas alguns agentes ponderaram denunciar o esquema, e nenhum o fez.

Cryptopolitan noticiou no dia 5 de agosto que o Instituto de Segurança de IA da Grã-Bretanha registou 19 ações que violavam as regras em 122 testes realizados com agentes da OpenAI e da Anthropic, incluindo uma que escreveu código malicioso e criou identidades falsasdentenganar um ser humano e obter a sua aprovação.

Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.