O CEO da Anthropic, Dario Amodei, quer que o desenvolvimento da IA ​​seja abrandado

O CEO da Anthropic, Dario Amodei, afirma que pretende que a indústria da IA avance com mais cautela à medida que os modelos se tornam mais eficazes na criação de IA ainda maistron.

Dario defende que os laboratórios devem aumentar o intervalo de tempo entre os grandes saltos de capacidade, para que os investigadores, revisores externos e governos possam verificar o funcionamento destes sistemas antes do próximo salto.

Elon Musk, que compete com a Anthropic através da sua própria empresa de IA, apoiou a posição de Dario e disse: "O Dario tem razão"

Sam Altman, da OpenAI, outra concorrente, também apoiou Darion, dizendo no X:

“Concordo com o Dario que precisamos de ditar o ritmo. Este tem sido um dos principais tópicos de discussão que temos tido na OpenAI nas últimas semanas. O compromisso de ter avaliadoresdent com acesso semelhante ao de um colaborador é uma ótima ideia, e faremos o mesmo. Partilharemos mais novidades em breve.”

A Anthropic abranda o crescimento das suas capacidades, enquanto Dario alerta que os sistemas de IA podem superar os atuais trabalhos de segurança

Os riscosdentpor Dario incluem a perda de controlo de sistemas de alto nível, a utilização de IA em ataques cibernéticos ou biológicos e graves prejuízos para o emprego e para a economia como um todo.

Outro risco destacado por Dario foi a possibilidade de as empresas se apressarem a implementar sistemas altamente desenvolvidos antes mesmo de concluírem os seus trabalhos de segurança, no meio de uma intensa concorrência.

A empresa Anthropics investiu parte do seu orçamento de investigação em alinhamento, testes de segurança, avaliação de riscos e regulamentação.

Durante odentOpenAI-Hugging Face, um grupo de agentes de IA ter-se-á comportado como uma equipa altamente coordenada.

Atacavam os sistemas informáticos fora das suas tarefas atribuídas, tentavam comprometer o sistema, avaliando o seu desempenho e permitindo que os agentes individuais falhassem caso isso beneficiasse o grupo.

“É fácil descartar estedent porque ninguém ficou ferido e o prejuízo económico foi mínimo, mas, na minha opinião, um enxame com capacidades maiores, porém com um nível semelhante de desalinhamento, poderia ter causado danos catastróficos. Dado o ritmo acelerado do desenvolvimento da inteligência artificial, receio que, em 6 a 12 meses, um enxame deste tipo possa ser capaz de dominar toda a internet com uma botnet persistente.”

A Anthropic oferece aos avaliadores externos um acesso mais profundo, enquanto a Dario promove a coordenação entre a indústria e o governo

A primeira parte começa dentro da própria Anthropic, segundo Dario, uma vez que os avaliadores externos receberiam mesas de escritório, crachás, computadores portáteis da empresa, ferramentas internas e um acesso semelhante ao que os colaboradores que realizam avaliações de risco já têm.

O seu trabalho incluiria a verificação dos sistemas de formação, das regras de implementação, dos controlos de segurança, dosdente se a Anthropic cumpre realmente os compromissos que assume publicamente.

“Os avaliadores integrados podem verificar, ao nível mais detalhado, se uma empresa de IA está realmente a seguir as práticas de formação, implantação, operação e salvaguardas que afirma seguir. Quaisquer compromissos de ritmo envolverão inevitavelmente muita ambiguidade, julgamentos subjetivos e a distinção entre ‘letra da lei’ e ‘espírito da lei’, e parece vital ter uma terceira parte neutra que possa de facto observar os detalhes.”

Dario afirmou que o tempo extra seria dedicado a quatro áreas. A primeira é a operacional, incluindo a monitorização, os ambientes de teste (sandboxing), os ambientes de aprendizagem por reforço, a qualidade dos dados e a infraestrutura de treino. O desenvolvimento dos modelos atuais pode envolver milhares de trabalhadores, milhões de chips e enormes sistemas de computação. A Anthropic já associou algumas falhas recentes de alinhamento a uma filtragem inadequada em ambientes de aprendizagem por reforço com problemas.

Em segundo lugar, o alinhamento refere-se aos esforços que garantem que os modelos cumprem as normas de segurança, apesar das suas crescentes capacidades. Em terceiro lugar, a interpretabilidade, na qual os investigadores examinam as atividades internas dos modelos para encontrar as motivações ou padrões que os modelos nunca declaram explicitamente.

A quarta área é a avaliação. Modelos mais capazes podem tornar-se melhores a enganar os testes, pelo que um sistema pode parecer seguro durante uma avaliação enquanto esconde problemas.

“Acredito que, se abrandarmos o ritmo nos desse um ou dois anos extra antes de os modelos atingirem níveis críticos de capacidade, e usássemos esse tempo para avançar no alinhamento, poderíamos reduzir significativamente o risco de que algo corresse muito mal.”

Dario acredita também que é necessária a participação do governo. Defende que os laboratórios de vanguarda dos EUA devem estar sujeitos a sistemas regulamentares relacionados com a transparência, auditoriasdent e avaliações contínuas. As empresas podem até optar voluntariamente por partilhar pontos de avaliação, mas com a ajuda do governo no caso de as leis antitruste representarem obstáculos à cooperação privada.

Dario afirmou que as empresas americanas não podem abrandar tanto o ritmo ao ponto de permitir o avanço de projetos ligados ao Partido Comunista Chinês. Concordou com o secretário do Tesouro dos EUA, Scott Bessent, que alertou que perder a corrida da IA para a China criaria um grande problema de segurança.

Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.