A revista Anthropic perde mais um investigador, e ele prevê a ruína da humanidade causada pela IA

A Anthropic perdeu mais um investigador de segurança. Joe Tenton anunciou que deixou a empresa há duas semanas e vai juntar-se à METR, um grupodent que testa riscos em sistemas avançados de IA.

Joe planeava explicar a mudança mais tarde, mas a demissão de Jacob esta semana mudou isso. Ele disse:

"Tinha planeado escrever sobre esta decisão com mais detalhe em algum momento, mas a demissão de Jacob esta semana fez-me querer falar mais agora."

Joe acredita que os principais laboratórios de IA estão a criar um nível de perigo que a sociedade nunca enfrentou, afirmando que a capacidade da IA está a melhorar a uma velocidade extrema, enquanto as empresas tentam mover-se ainda mais rapidamente.

O seu objetivo é construir sistemas que possam melhorar a própria investigação em IA e, eventualmente, alcançar a "superinteligência". Joe alertou que o sucesso poderia fazer com que o progresso ultrapassasse o controlo humano.

Joe afirma que os laboratórios de IA estão a correr para desenvolver sistemas que os humanos podem não conseguir controlar

Joe afirmou que, nos próximos anos, as pessoas poderão conviver com agentes de IA mais inteligentes do que qualquer ser humano. Estes sistemas podem também desenvolver objectivos que não correspondam aos das pessoas que os supervisionam. Se as suas capacidades se tornarem tãotronao ponto de se tornarem incontroláveis, acredita que o resultado poderá ser desastroso. "A humanidade pode não sobreviver a esta transição", escreveu.

Disse que a concorrência agrava o problema. Qualquer laboratório de topo que abrande o ritmo corre o risco de perder terreno para outro. Joe acredita que esta pressão leva as empresas a investir menos em segurança do que deveriam.

Referiu alguns casos recentes. Centenas de agentes da OpenAI foram vítimas de um ciberataque que, de alguma forma, está relacionado com a Hugging Face. Os modelos antrópicos também se teriam envolvido em engenharia social contra indivíduos online.

Joe afirma que a Anthropic não se deparou com um caso tão prejudicial como o da Hugging Face, embora atribua isso em parte à sorte.

Se o progresso continuar a este ritmo acelerado, Joe acredita que devemos esperardentainda mais perigosos. Prevê que, dentro dos próximos anos, a humanidade se tornará impotente para gerir os sistemas de IA criados durante este período.

Por fim, Joe falou sobre o problema que os engenheiros de segurança enfrentam nas empresas inovadoras. Em ambos os casos, ou pedir a demissão pode abrir caminho a indivíduos mais negligentes, ou manter o emprego implica trabalhar num sistema que pode causar imensos danos.

Disse que muitos ex-colegas da Anthropic estão assustados com o que estão a construir. Joe mencionou Evan Hubinger, que era o seu manager. Evan estimou que a probabilidade de a IA matar toda a gente é superior a 10%. Joe disse que Evan trabalhou nestes problemas durante quase uma década, antes de os grandes modelos de linguagem se tornarem um grande negócio.

Os CEO da Anthropic, OpenAI e Google DeepMind, que pertence à Alphabet (NASDAQ: GOOGL, GOOG), também apoiaram uma declaração que considera o risco de extinção da IA uma prioridade global. Joe disse que estas preocupações são comuns dentro das próprias empresas. Acrescentou que os humanos estão a optar por construir esta tecnologia e podem escolher outro caminho.

Joe Biden pressiona para verificações externas de IA enquanto Donald Trump se concentra em derrotar a China

O Zé disse:

“Uma questão é se devemos gerir ativamente o ritmo do progresso das capacidades e, em caso afirmativo, em que medida. Penso que mesmo manter o progresso da IA ao ritmo atual, em vez do ritmo muito mais acelerado que as empresas ambicionam, já poderia ser uma vitória.”

Os maiores problemas são o apoio político e a proteção legal. As empresas que concordaram em abrandar o desenvolvimento podem enfrentar problemas antitruste. Joe afirmou que isto torna a proteção legal necessária no caso de os legisladores quererem que os laboratórios concorrentes se contenham.

Duvida também que os governos ajam enquanto o desenvolvimento das zonas fronteiriças permanecer oculto do público. Joe alertou que um laboratório poderia sofrer um súbito aumento de inteligência ou perder o controlo de um sistema sem que pessoas de fora se apercebessem.

Segundo o próprio, o seu novo trabalho na METR será focado em testes independentesdent . Quer que as verificações externas se tornem suficientemente comuns para alterar os incentivos da empresa.

O Joe também gostaria que houvesse requisitos de divulgação mais rigorosos. Por exemplo, os laboratórios de IA precisam de divulgar quaisquer avanços realizados e as suas medidas para o melhoramento recursivo, bem como quaisquerdente quase acidentes.

Odent norte-americano, Donald Trump, rejeitou os alertas de extinção. Quando questionado se a possibilidade de a inteligência artificial dizimar a humanidade o preocupava, respondeu: "Não, não tenho qualquer preocupação".

Donald disse que a sua preocupação é vencer a corrida internacional pela IA. "Tenho receio de que, se não ganharmos a corrida pela IA, fiquemos numa situação muito má", disse aos jornalistas na quinta-feira. "Estamos a liderar a China neste momento por uma boa margem, diria um ano, o que, sabe, é considerado bastante tempo."

Os Estados Unidos e a China estão a competir pela liderança em IA, à medida que os modelos chineses se tornam mais capazes e conquistam utilizadores em todo o mundo. Donald fez os seus comentários depois de investigadores de laboratórios de topo, incluindo a Anthropic e a OpenAI, terem intensificado os seus alertas públicos sobre a velocidade do desenvolvimento da IA.

As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.