Recentemente, com o andamento do caso de direitos autorais de inteligência artificial Kadrey vs. Meta, mensagens internas da Meta foram divulgadas pelo tribunal, revelando a obsessão dos executivos da empresa em superar o modelo GPT-4 da OpenAI durante o desenvolvimento do Llama3.
Em uma mensagem de outubro de 2023, Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, mencionou: "Honestamente, nosso objetivo tem que ser o GPT-4. Temos 64.000 GPUs! Precisamos aprender a construir tecnologia de ponta e vencer essa competição."
Apesar de a Meta lançar modelos de IA abertos, a liderança de IA da empresa claramente se preocupa mais com concorrentes que não divulgam os pesos dos modelos, como Anthropic e OpenAI, considerando seus modelos Claude e GPT-4 como o padrão de trabalho. Embora a startup francesa de IA Mistral tenha sido mencionada várias vezes, os executivos da Meta a avaliaram com certo desprezo. Al-Dahle disse em uma mensagem: "Mistral é moleza para nós, deveríamos ser capazes de fazer melhor."
No campo da IA, grandes empresas estão competindo para lançar modelos de IA avançados, e esses documentos judiciais mostram a alta tensão na competição da Meta. Em várias mensagens, os líderes de IA da Meta mencionaram que estavam sendo "muito agressivos" na aquisição de dados necessários para treinar o Llama. Um executivo chegou a dizer: "Llama3 é a única coisa que me preocupa." Eles discutiram como melhorar os conjuntos de dados para aumentar o desempenho do Llama3.
No entanto, os promotores acusam os executivos da Meta de possíveis falhas no uso de dados em sua pressa para lançar o modelo de IA, incluindo livros protegidos por direitos autorais. Touvron mencionou que a combinação de conjuntos de dados do Llama2 "não estava funcionando bem" e discutiu como usar melhores fontes de dados para melhorar o Llama3. Al-Dahle perguntou: "Temos os conjuntos de dados certos? Há algo que não podemos usar por motivos estúpidos?"
O CEO da Meta, Mark Zuckerberg, havia declarado anteriormente que estava trabalhando para reduzir a diferença de desempenho entre os modelos Llama e os modelos fechados de empresas como OpenAI e Google. Essas mensagens internas mostram a enorme pressão que a Meta estava sofrendo para alcançar esse objetivo. Em uma carta de julho de 2024, Zuckerberg mencionou: "Este ano, o Llama3 é competitivo entre os modelos de ponta e lidera em algumas áreas."
Em abril de 2024, a Meta finalmente lançou o Llama3, um modelo de IA aberto que se destacou na competição, superando as opções abertas da Mistral, mas os dados usados para treinar o modelo - dados que supostamente foram aprovados por Zuckerberg - estão sob escrutínio em vários processos.
Destaques:
🌟 Os executivos da Meta se concentraram em superar o modelo GPT-4 da OpenAI durante o desenvolvimento do Llama3.
💡 A empresa foi agressiva na aquisição de dados, mas enfrenta acusações de uso de dados protegidos por direitos autorais.
📈 Zuckerberg espera que os futuros modelos Llama sejam os mais avançados do setor.
