DeepMind introdujo un modelo de lenguaje visual con 80 mil millones de parámetros
DeepMind AI Lab ha desarrollado una familia de modelos Flamingo que hacen más trabajo con una capacitación menos costosa y que consume menos tiempo.
El modelo está diseñado para combinar la entrada de texto e imagen para obtener una respuesta de solo texto.
Flamingo recibió capacitación en un conjunto de datos especial creado para la investigación de aprendizaje automático multimodal. El conjunto consta de 185 millones de imágenes y 182 GB de texto obtenidos de la Internet pública.
Uno de los componentes de Flamingo es un modelo de lenguaje Chinchilla LM preentrenado con 70 mil millones de parámetros. DeepMind "combinó" el algoritmo con elementos de aprendizaje visual. Los ingenieros también agregaron un "middleware de nueva arquitectura" que mantiene los datos aislados y congelados, otorgándoles el parámetro Flamingo VLM de 80 mil millones.
“Un solo modelo de Flamingo puede lograr los mejores resultados en una amplia gama de tareas, compitiendo con enfoques que requieren un ajuste fino para una tarea específica en más ejemplos”, dijeron los desarrolladores.
Según la organización, Flamingo es superior a los enfoques de aprendizaje de varios pasos anteriores. El modelo también demostró ser más eficiente que los algoritmos ajustados que usan más datos.
De cara al futuro, Flamingo podría reducir la cantidad de energía consumida en el entrenamiento de IA y reducir la necesidad de hardware de alto rendimiento. Sin embargo, la compañía no reveló los detalles por los cuales lograron tales resultados.
Los desarrolladores enfatizaron que Flamingo se puede adaptar rápidamente a entornos con recursos limitados y para tareas de bajos recursos como la evaluación de sesgos de IA.
Recuerde que en abril, DeepMind presentó el modelo de lenguaje Chinchilla con 70 mil millones de parámetros.
En febrero, el laboratorio británico de inteligencia artificial mostró la herramienta AlphaCode, que puede escribir código por sí sola.
En diciembre de 2021, DeepMind desarrolló un gran modelo de lenguaje Gopher que contenía 280 000 millones de parámetros.
Suscríbase a las noticias de CriptoDia en Telegram: https://t.me/CriptoDia