Cerebras rompe el récord de entrenamiento de modelos de IA en un solo dispositivo
La startup estadounidense Cerebras ha entrenado el "modelo de inteligencia artificial más grande" en un solo dispositivo equipado con un chip Wafer Scale Engine 2 (WSE-2) del tamaño de una placa.
Foto: wccftech.
Tom's Hardware informa sobre esto.
“Usando la plataforma de software Cerebras (CSoft), nuestros clientes pueden entrenar fácilmente modelos modernos de lenguaje GPT (como GPT-3 y GPT-J) con hasta 20 mil millones de parámetros en un solo sistema CS-2”, dijo la compañía en un comunicado. declaración.
Según la puesta en marcha, la tecnología Cerebras Weight Streaming desacopla los recursos informáticos, lo que permite que la memoria se escale al tamaño que sea necesario para almacenar la cantidad de parámetros en rápido crecimiento en las cargas de trabajo de IA.
“Los modelos que se ejecutan en un solo CS-2 se configuran en minutos y los usuarios pueden cambiar rápidamente entre ellos con solo presionar unas pocas teclas”, dice el comunicado.
Almacenar hasta 20 modelos de procesamiento de lenguaje natural con miles de millones de parámetros en un solo chip reduce significativamente la sobrecarga de entrenamiento y escalado con miles de GPU, según la compañía. Agregaron que este es uno de los aspectos más dolorosos de las cargas de trabajo de PNL y lleva meses completarlo.
El chip Wafer Scale Engine 2 está construido sobre un proceso de 7nm, contiene 850.000 núcleos, tiene 40 GB de memoria interna con un ancho de banda de 20 PB/s y consume unos 15 kW.
Chip Wafer Scale Engine 2. Datos: Cerebras.
Recordemos que en abril de 2021, Cerebras presentó el procesador WSE-2, diseñado para cálculos en el campo del aprendizaje automático y la inteligencia artificial.
En agosto, la empresa creó la supercomputadora CS-2. Una instalación basada en chips WSE-2 es capaz de entrenar un modelo de IA con 120 mil millones de parámetros.
En mayo de 2022, la clasificación Top500 de las supercomputadoras más poderosas del mundo estuvo encabezada por el sistema American Frontier, desarrollado por el Laboratorio Nacional de Oak Ridge. Este es el primer equipo que alcanza un pico de 1,1 exaflops en la prueba de Linmark.
Suscríbase a las noticias de CriptoDia en Telegram: https://t.me/CriptoDiaEs
Nuestro canal de Youtube: CriptoDia