Meta, como desarrollador del gran modelo de lenguaje de código abierto Llama, considera que la potencia de cálculo necesaria para entrenar modelos futuros aumentará drásticamente.
El martes, en la conferencia telefónica de resultados del segundo trimestre de Meta, Mark Zuckerberg reveló que la potencia de cálculo necesaria para entrenar Llama4 será 10 veces mayor que la necesaria para entrenar Llama3. Destacó que, a pesar de ello, Meta debe construir la capacidad para entrenar modelos, para evitar quedarse atrás de la competencia.
Zuckerberg declaró: "La cantidad de cómputo necesaria para entrenar Llama4 podría ser casi 10 veces mayor que la necesaria para entrenar Llama3, y la cantidad de cómputo necesaria para modelos futuros seguirá aumentando". También señaló que es difícil predecir la tendencia de futuras generaciones de modelos, pero que en este momento prefiere construir la capacidad necesaria con anticipación, antes que hacerlo demasiado tarde, ya que la puesta en marcha de nuevos proyectos de inferencia requiere una larga preparación.
En abril de este año, Meta lanzó Llama3, con 80 mil millones de parámetros. La semana pasada, la compañía lanzó Llama3.1405B, su versión mejorada, con 405 mil millones de parámetros, convirtiéndose en el modelo de código abierto más grande de Meta.
La directora financiera de Meta, Susan Li, también declaró que la compañía está considerando diferentes proyectos de centros de datos y está construyendo capacidad para entrenar futuros modelos de IA. Dijo que Meta prevé que esta inversión aumentará el gasto de capital en 2025.
Hay que tener en cuenta que entrenar grandes modelos de lenguaje es un negocio costoso. En el segundo trimestre de 2024, el gasto de capital de Meta aumentó de 6400 millones de dólares a 8500 millones de dólares, un aumento de casi el 33%, impulsado por las inversiones en servidores, centros de datos e infraestructura de red.
Puntos clave:
🎯 La potencia de cálculo necesaria para entrenar Llama4 en Meta es aproximadamente 10 veces mayor que la necesaria para entrenar Llama3.
🎯 Meta prevé que la inversión en la construcción de capacidad aumentará el gasto de capital en 2025.
🎯 Entrenar grandes modelos de lenguaje es costoso, y el gasto de capital de Meta aumentó considerablemente en el segundo trimestre.
