Recientemente, con el avance del caso de derechos de autor de inteligencia artificial Kadrey contra Meta, se han revelado mensajes internos de la empresa, desvelando la obsesión de los ejecutivos con superar el modelo GPT-4 de OpenAI durante el desarrollo de Llama3.
En un mensaje de octubre de 2023, Ahmad Al-Dahle, vicepresidente de IA generativa de Meta, declaró: "Para ser honestos, nuestro objetivo debe ser GPT-4. ¡Tenemos 64.000 GPU! Necesitamos aprender a construir tecnología de vanguardia y ganar esta competencia."
Aunque Meta publica modelos de IA abiertos, la dirección de IA de la empresa parece estar más centrada en competidores que no revelan los pesos de sus modelos, como Anthropic y OpenAI, considerando sus Claude y GPT-4 como el estándar de trabajo. Aunque se menciona varias veces a la startup francesa de IA Mistral, los ejecutivos de Meta la consideran con cierto desdén. Al-Dahle comentó en un mensaje: "Mistral es pan comido para nosotros, deberíamos poder hacerlo mejor."
En el campo de la IA, las grandes empresas compiten por lanzar modelos avanzados, y estos documentos judiciales muestran la alta tensión en la que se encuentra Meta en esta competición. En varios mensajes, los líderes de IA de Meta mencionan que están siendo "muy proactivos" en la obtención de datos para entrenar Llama. Un ejecutivo incluso afirmó: "Llama3 es lo único que me preocupa". Discutieron cómo mejorar los conjuntos de datos para elevar el rendimiento de Llama3.
Sin embargo, la fiscalía acusa a los ejecutivos de Meta de posibles descuidos en el uso de datos, incluyendo libros protegidos por derechos de autor, en su prisa por lanzar el modelo de IA. Touvron mencionó que la combinación de conjuntos de datos de Llama2 "no funcionó bien" y exploró cómo usar mejores fuentes de datos para mejorar Llama3. Al-Dahle preguntó: "¿Tenemos los conjuntos de datos adecuados? ¿Hay algo que no podamos usar por razones tontas?"
El CEO de Meta, Mark Zuckerberg, había declarado previamente que se esforzaba por reducir la brecha de rendimiento entre los modelos Llama y los modelos de código cerrado de empresas como OpenAI y Google. Estos mensajes internos muestran la enorme presión que Meta soporta en la consecución de este objetivo. En una carta de julio de 2024, Zuckerberg mencionó: "Este año, Llama3 es competitivo entre los modelos más avanzados y lidera en algunas áreas."
En abril de 2024, Meta finalmente lanzó Llama3, un modelo de IA abierto que tuvo un buen desempeño en la competencia, superando las opciones abiertas de Mistral, pero los datos utilizados para entrenar el modelo, datos que supuestamente fueron aprobados por Zuckerberg, están bajo escrutinio en varias demandas.
Puntos clave:
🌟 Los ejecutivos de Meta se centraron en superar el modelo GPT-4 de OpenAI durante el desarrollo de Llama3.
💡 La empresa fue proactiva en la obtención de datos, pero enfrenta acusaciones por el uso de datos con derechos de autor restringidos.
📈 Zuckerberg espera que los futuros modelos Llama sean los más avanzados del sector.
