A Tencent lançou hoje o modelo de linguagem grande de código aberto MOE Hunyuan-large, com um total de 398 bilhões de parâmetros e 52 bilhões de parâmetros ativados. Os resultados de avaliação pública mostram que o Tencent Hunyuan-large lidera em vários conjuntos de avaliação multidisciplinar abrangentes, como CMMLU, MMLU, CEva1 e MATH, bem como em tarefas de PNL em chinês e inglês, código e matemática, em 9 dimensões, superando modelos de código aberto de primeira linha como Llama 3.1 e Mixtral.
De acordo com informações, o modelo apresenta inovação tecnológica na geração de dados sintéticos de alta qualidade. Através do aumento do treinamento com dados sintéticos, ele compensa eficazmente a escassez de dados naturais. Em termos de capacidade de processamento de contexto, o modelo pré-treinado suporta sequências de texto de até 256K, melhorando significativamente a capacidade de lidar com tarefas de contexto longo.
Além disso, a Tencent Hunyuan anunciou que, para preencher a lacuna de conjuntos de avaliação de textos longos reais na indústria, em breve lançará o conjunto de avaliação PenguinScrolls (Rolos de Pinguim) de código aberto para auxiliar a pesquisa e aplicação na indústria. O PenguinScrolls (Rolos de Pinguim), desenvolvido internamente, é baseado em diversos textos longos naturais públicos de finanças, direito e artigos acadêmicos, com comprimentos variando de 1K a 128K, cobrindo várias tarefas de compreensão de leitura profunda e raciocínio de textos longos.
O lançamento do modelo de linguagem grande Tencent Hunyuan-large e o código aberto do conjunto de avaliação PenguinScrolls fornecerão à indústria modelos de linguagem e ferramentas de avaliação mais poderosos, impulsionando o desenvolvimento das áreas de processamento de linguagem natural e inteligência artificial.
Endereço do site: https://llm.hunyuan.tencent.com