O fundador da ByteDance recusa atalhos de destilação na corrida da IA

O fundador da ByteDance, Zhang Yiming, afirmou que a destilação não será usada para treinar os modelos de IA da empresa. Isso diferencia a empresa de outros laboratórios de IA chineses que foram acusados de usar a técnica de destilação.

Isso ocorre em meio a acusações de autoridades americanas de que laboratórios chineses estariam usando a técnica para superar a diferença em relação aos modelos de IA americanos. Autoridades de Washington chegaram a ameaçar com sanções.

Zhang estabelece limites quando todos os outros estão a fazer concessões

Segundo o relatório do The Information, Zhang Yiming é veementemente contra a destilação no treinamento dos modelos de IA da empresa. Zhang decidiu se envolver mais diretamente nas ambições de IA da ByteDance e se reuniu com pesquisadores seniores para obter conhecimento em primeira mão, enquanto acompanha os esforços de recrutamento da empresa.

Isso é importante porque surge em um momento crítico na corrida da IA. Justamente neste mês, autoridades americanas intensificaram a disputa com laboratórios chineses sobre a prática de destilação. A ByteDance também é proprietária da Seedance, um modelo de vídeo lucrativo e líder em desempenho, um feito raro entre os produtos de IA chineses.

Por que Washington desaprova a destilação

A destilação consiste simplesmente no treinamento de modelos de IA mais fracos com base nas respostas de modelos maistron. Isso garante que os sistemas de IA menores aprendam a imitar o sistema maior. A destilação é feita abertamente e é uma prática rotineira na indústria de IA. É considerada legal, embora geralmente seja realizada em pequena escala.

Michael Kratsios, que atua como diretor do Escritório de Política Científica e Tecnológica da Casa Branca, alegou que a Moonshot AI utilizou o modelo Fable da Anthropic ao construir o Kimi K3, seu sistema de IA.

Ele afirmou isso em uma postagem no X, dizendo que a Moonshot executava a operação por meio de uma plataforma interna construída especificamente para esse fim, que alternava as rotas de acesso numa tentativa de evitar a detecção e utilizava servidores NVIDIA GB300 na Tailândia, cuja exportação para a China é proibida pelas normas de exportação dos EUA. 

Segundo relatos, a Anthropic trac3,4 milhões de conversas de Claude até a Moonshot por meio de contas falsas. A Moonshot ainda não se pronunciou sobre essas alegações.

Como a ByteDance construiu o Seedance, seu principal modelo de IA

A ByteDance teve sua virada de jogo de uma maneira totalmente diferente. A empresa apostou no Seedance 2.0, apesar das disputas internas sobre o alto custo e a escala agressiva do modelo. O modelo de vídeo foi construído para escalar além da marca de 200 bilhões de parâmetros, mas foi considerado ambicioso demais por alguns dentro da empresa.

A estratégia deu certo, já que a margem bruta dos modelos ficou em torno de 70-90%, após a empresa investir pesado em GPUs, dados e recrutamento de alto nível.

Washington afirma que a lacuna na IA está diminuindo

A batalha em torno da destilação é apenas a ponta do iceberg. Scott Bessent, o Secretário do Tesouro, sugeriu a imposição de sanções caso empresas chinesas adotem a destilação em escala industrial. Um projeto de lei bipartidário na Câmara dos Representantes facilitaria adente a aplicação de sanções a tentativas de implementação da destilação.

Os números exigiram medidas urgentes. Apesar de investir 23 vezes mais que a China em IA, os EUA perderam a liderança na corrida da inteligência artificial. Segundo o Instituto de IA Centrada no Ser Humano de Stanford, os melhores modelos de ambos os países são praticamente idênticos. 

Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.