New Blackwell Chips de Nvidia entrenó al modelo de Llama 3.1 de Meta Meta en solo 27 minutos

Los nuevos chips Blackwell de Nvidia están cambiando la rapidez con que se pueden capacitar los sistemas de inteligencia artificial.

En la última ronda de resultados de evaluación comparativa publicada el miércoles por MlCommons, un grupo sin fines de lucro que trac y compara las capacidades de los chips AI , la arquitectura Blackwell programada por Nvidia Set Records.

Cuando se probó con el modelo de Llama 3.1 405B de código abierto de Meta, uno de sus modelos de IA más grandes y complejos, el entrenamiento se terminó en solo 27 minutos usando chips Blackwell. Esto se hizo con solo 2,496 GPU de Blackwell, un orden de magnitud menor de lo que habría tomado con las fichas de tolva anteriores de Nvidia.

En contraste, los diseños anteriores usaron más de tres veces más GPU de la tolva para ofrecer un rendimiento equivalente. Por el chip, Blackwell fue más del doble de rápido, lo cual fue un gran salto en la eficiencia de convergencia. Ese tipo de impulso de rendimiento podría traducirse en un gran tiempo y ahorro de costos para las organizaciones que capacitan modelos de billones de parámetros.

Se cree que estos resultados son los primeros de MLCommons para los modelos de entrenamiento a estas escalas extremas y proporcionan una medición del mundo real de qué tan bien los chips manejan las cargas de trabajo de IA más exigentes.

CoreWeave, Nvidia Drive Smarter AI Escalado

Los resultados no solo fueron una victoria para NVIDIA, sino que también destacaron el trabajo de CoreWeave, una compañía de infraestructura en la nube que se asoció en las pruebas. En una conferencia de prensa, el director de productos de CoreWeave, Chetan Kapoor, señaló una dirección general que tenía sentido cada vez más en la industria: lejos de los bloques grandes y homogéneos de decenas de miles de GPU.

En lugar de construir un sistema informático único, masivo y monolítico, las empresas ahora están buscando subconjuntos más pequeños e interconectados que pueden administrar la capacitación de modelos masivos de manera más eficiente y con una mejor escala.

Kapoor dijo que con tal técnica, los desarrolladores pueden continuar ampliando o reduciendo el tiempo requerido para entrenar modelos extremadamente grandes con billones de parámetros.

El movimiento al despliegue modular del hardware también es necesario ya que el tamaño y la complejidad de los modelos de IA solo se inflan.

Blackwell pone a Nvidia a la cabeza para el entrenamiento modelo de IA

Aunque el enfoque últimamente ha cambiado a la inferencia de IA, en la que modelos como ChatGPT1 responden las preguntas del usuario en tiempo real, la capacitación sigue siendo el caballo de batalla del desarrollo de la IA.

La parte de entrenamiento le da a estos modelos su inteligencia, lo que les permite comprender el lenguaje, abordar algunos de nuestros problemas más desafiantes e incluso producir una prosa como humana. El cálculo es muy exigente y requiere miles de chips de alto rendimiento para operar durante largos períodos, generalmente días, si no semanas o meses.

Eso ha cambiado con la arquitectura Blackwell de Nvidia . Al cortar radicalmente las papas fritas y el tiempo, se necesita para entrenar modelos gigantescos de IA, los chips Blackwell le dan a Nvidia una mejor mano en un mercado donde la velocidad y la eficiencia gobiernan el gallinero.

Los modelos de entrenamiento como Meta's Llama 3.1 405b, que tiene billones de parámetros, previamente han tenido que ejecutarse en enormes grupos de GPU y han sido un proceso costoso que supera la energía. 

Dichas ganancias de rendimiento son una ventaja significativa en un momento en que existe una demanda abrasadora de modelos de IA cada vez más grandes y más poderosos en muchas industrias, desde atención médica y finanzas hasta educación y vehículos autónomos.

También envía un mensaje claro a los rivales de Nvidia. Ahora, las compañías de chips como AMD e Intel, que están trabajando en sus chips específicos de IA, están bajo mayor presión para mantener un ritmo similar.

AMD se sometió a la prueba de referencia MLCommons, pero no mostró resultados para un modelo tan grande como Llamas 3.1 405B. Nvidia fue el único que probó en el extremo superior del punto de referencia, demostrando que era el hardware superior y estaba dispuesto a asumir los desafíos más difíciles.

Academia Cryptopolitan: ¿Quieres hacer crecer tu dinero en 2025? Aprenda cómo hacerlo con DeFi en nuestra próxima clase web. Guarda tu lugar