A Amazon apresenta o chip Trainium3, acelerando sua investida em hardware de IA.

A Amazon lançou esta semana seu mais novo chip de treinamento de IA, o Trainium3, em uma investida direta contra o domínio de hardware da Nvidia e do Google.

O acelerador já está em funcionamento em um pequeno grupo de data centers da AWS e será disponibilizado aos clientes na terça-feira, de acordo com uma entrevista com Dave Brown, vice-dent da Amazon Web Services. Dave afirmou que a empresa não está implementando isso gradualmente.

“No início do próximo ano, começaremos a expandir muito, muito rapidamente”, disse ele. O objetivo é simples: vender mais poder computacional diretamente dos servidores da Amazon, em vez de ver os desenvolvedores direcionando esse investimento para outros lugares.

A AWS ainda lidera o mercado global de nuvem em termos de computação e armazenamento alugados. Essa liderança, porém, não se estendeu integralmente ao treinamento de IA em larga escala. Alguns desenvolvedores optam pela Microsoft devido à sua ligação com a OpenAI.

Outros recorrem ao Google e seus chips próprios. A Amazon agora está usando o Trainium3 para atrair equipes sensíveis a preços de volta para dentro da sua plataforma. A proposta básica é reduzir o custo por unidade de trabalho, mantendo tudo dentro da AWS.

A Amazon impulsiona o Trainium3 em escala de nuvem.

O Trainium3 chega cerca de um ano depois da Amazon ter lançado a sua última versão. Esse ritmo está entre os mais rápidos para padrões de chips. Quando o chip foi ligado pela primeira vez em agosto, um engenheiro da AWS brincou: "O principal que esperamos é que não vejamos nenhum tipo de fumaça ou fogo". O ritmo acelerado de atualizações também reflete o plano público da Nvidia de lançar um novo chip a cada ano.

A Amazon afirma que os chips Trainium executam o processamento computacional pesado por trás dos modelos de IA a um custo menor e com melhor consumo de energia do que as GPUs de ponta da Nvidia. Dave disse: "Estamos muito satisfeitos com nossa capacidade de obter o melhor custo-benefício com o Trainium". A empresa está apostando fortemente nesse aspecto do preço, à medida que o tamanho dos modelos aumenta e os custos de treinamento continuam subindo.

Ainda existe um limite. Os chips da Amazon não possuem as bibliotecas de software robustas que permitem às equipes trabalhar com rapidez em hardware da Nvidia. A Bedrock Robotics, que usa IA para operar equipamentos de construção sem controle humano, executa seus principais sistemas em servidores da AWS. Quando treina modelos para guiar uma escavadeira, ainda utiliza chips da Nvidia. Kevin Peterson, diretor de tecnologia da Bedrock Robotics, afirmou: “Precisamos que seja eficiente e fácil de usar. E a Nvidia oferece isso.”

Atualmente, a maior parte da capacidade do Trainium é direcionada para a Anthropic. Os chips são executados em data centers em Indiana, Mississippi e Pensilvânia. No início deste ano, a AWS afirmou ter conectado mais de 500.000 chips Trainium para treinar os modelos mais recentes da Anthropic. A Amazon planeja aumentar esse número para 1 milhão de chips até o final do ano.

A Amazon está vinculando o futuro do Trainium ao crescimento da Anthropic e aos seus próprios serviços de IA. Além da Anthropic, a empresa divulgou até agora poucos grandes clientes. Isso deixa os analistas com dados limitados para avaliar o desempenho do Trainium em um uso mais amplo.

A Anthropic também dilui seu próprio risco computacional. Ela ainda utiliza as Unidades de Processamento Tensorial (TPUs) do Google e firmou um acordo este ano com o Google que lhe dá acesso a dezenas de bilhões de dólares em poder computacional.

A Amazon apresentou o Trainium3 durante o re:Invent, sua conferência anual de usuários. O evento se transformou em uma demonstração contínua de ferramentas e infraestrutura de IA voltadas para desenvolvedores que criam novos modelos e empresas dispostas a pagar por acesso em larga escala.

A Amazon lança atualizações do Nova e inaugura o Nova Forge.

Na terça-feira, a Amazon também atualizou sua principal família de modelos de IA, conhecida como Nova. A nova linha Nova 2 inclui uma versão chamada Omni.

O Omni aceita texto, imagens, voz ou vídeo como entrada. Ele pode responder com texto e imagens. A Amazon está vendendo uma combinação de tipos de entrada e custos de modelo como um pacote projetado para uso diário em larga escala.

A Amazon continua a precificar seus modelos com base no desempenho por dólar. Os modelos Nova anteriores não ficaram entre os primeiros colocados em rankings de testes padrão que avaliam respostas a perguntas predefinidas. A empresa está priorizando o uso real em vez de gráficos de teste.

Rohit Prasad, que lidera grande parte do trabalho de modelagem da Amazon e sua equipe de Inteligência Artificial Geral, disse: "O verdadeiro parâmetro é o mundo real", e acrescentou que espera que os novos modelos sejam competitivos em situações reais.

A Amazon também está disponibilizando um controle mais aprofundado dos modelos para usuários avançados por meio de um novo produto chamado Nova Forge, que permite que as equipes extraiam versões dos modelos Nova antes do término do treinamento e as moldem usando seus próprios dados.

O Reddit já utiliza o Nova Forge para construir um modelo que verifica se uma publicação viola as regras de segurança. Chris Slowe, diretor de tecnologia do Reddit, afirmou que muitos usuários de IA optam pelo modelo mais abrangente possível para cada tarefa, em vez de treinar um modelo com foco específico. "O valor reside na possibilidade de torná-lo um especialista em nossa área específica", explicou.

Com o Trainium3 agora ativo em data centers e os modelos Nova atualizados simultaneamente, a Amazon está avançando em duas frentes ao mesmo tempo. A disputa de hardware se dá contra a Nvidia. O avanço dos modelos compete com a OpenAI, apoiada pela Microsoft, e o Google. A próxima fase agora se concentra no uso prático pelos clientes em escala total de nuvem.

Reivindique seu lugar gratuito em uma comunidade exclusiva de negociação de criptomoedas - limitada a 1.000 membros.