El gigante tecnológico estadounidense Meta ha lanzado su modelo de inteligencia artificial de código abierto más potente hasta la fecha: Llama4. En esta primera publicación se presentan dos modelos: Llama4Scout y Llama4Maverick.
Llama4Scout cuenta con 109.000 millones de parámetros, 17.000 millones de parámetros activos, 16 expertos y su característica más destacada es la compatibilidad con 10 millones de contextos. Esto equivale a poder procesar más de 20 horas de vídeo y funciona en una sola GPU H100 (después de la cuantificación Int4). En las pruebas de referencia, su rendimiento supera a Gemma3, Gemini2.0Flash - Lite y Mistral3.1.
Llama4Maverick tiene 400.000 millones de parámetros, 17.000 millones de parámetros activos, 128 expertos y 1 millón de contextos. En la clasificación LMSYS de modelos grandes, Llama4Maverick ocupa el segundo lugar (puntuación ELO 1417), solo superado por el modelo propietario Gemini2.5Pro. Con la mitad de parámetros, su capacidad de codificación de inferencia es comparable a la de DeepSeek - v3-0324.
Además, en los próximos meses se lanzará el aún más potente Llama4Behemoth, con 2 billones de parámetros, 288.000 millones de parámetros activos y 16 expertos. Actualmente, en las pruebas de referencia STEM, ya ha superado a GPT-4.5, Claude Sonnet3.7 y Gemini2.0Pro.
La serie Llama4 utiliza por primera vez una arquitectura de expertos mixtos (MoE), que es más eficiente en el entrenamiento y en la respuesta a las consultas de los usuarios. Llama4 también es un modelo multimodal nativo, que utiliza una técnica de fusión temprana para integrar a la perfección los tokens de texto e imagen. Simultáneamente, Meta ha mejorado el codificador visual y ha desarrollado un nuevo método de entrenamiento, MetaP, para optimizar los hiperparámetros. A partir de hoy, los desarrolladores pueden descargar estos dos nuevos modelos en llama.com y Hugging Face.
Puntos clave:
- 🌟Meta lanza Llama4, un modelo multimodal de código abierto, con Llama4Scout y Llama4Maverick en su lanzamiento inicial, y Llama4Behemoth en el futuro.
- 💪Llama4 ofrece un rendimiento potente, destacando en las clasificaciones de modelos grandes, con capacidades de codificación de inferencia comparables o superiores a otros modelos excelentes.
- 🛠️Emplea una arquitectura MoE, es un modelo multimodal nativo, con mejoras tecnológicas y un nuevo método de entrenamiento, disponible para su descarga por los desarrolladores.
