O Laboratório de Inteligência Artificial de Xangai anunciou uma importante atualização para seu grande modelo de linguagem, Shusheng, lançando o Shusheng・Pǔyǔ 3.0 (InternLM3). De acordo com o laboratório, a nova versão, através de um framework de dados refinado, melhorou significativamente a eficiência do uso de dados, resultando em um aumento na densidade do raciocínio.
O modelo InternLM3-8B-Instruct desta atualização foi treinado com apenas 4T de dados. A equipe afirma que seu desempenho geral supera modelos de código aberto de tamanho semelhante, com uma redução de custos de treinamento superior a 75%. É importante notar que esta versão implementa, pela primeira vez em um modelo geral, a fusão de capacidades de diálogo convencional e raciocínio profundo, permitindo melhor lidar com cenários de uso real diversos.
Em termos de avaliação do modelo, a equipe de pesquisa utilizou o framework de avaliação de código aberto Sīnán OpenCompass, adotando um método unificado e reprodutível. A avaliação incluiu mais de dez conjuntos de dados de avaliação autorizados, como CMMLU e GPQA, abrangendo várias dimensões, incluindo raciocínio, matemática, programação, seguimento de instruções, geração de texto longo, diálogo e desempenho geral. Os resultados da avaliação mostraram que o Shusheng・Pǔyǔ 3.0 obteve pontuações superiores na maioria dos conjuntos de dados, com desempenho geral muito próximo ao GPT-4o-mini.
O Laboratório de IA de Xangai também afirma que esta nova versão do modelo se tornou o primeiro modelo de diálogo geral de código aberto a suportar navegadores, permitindo mais de 20 etapas de navegação na web para uma exploração mais profunda de informações.
Página de experiência:https://internlm-chat.intern-ai.org.cn.
Destaques:
🌟 O modelo Shusheng・Pǔyǔ 3.0 foi treinado com 4T de dados, superando modelos de código aberto de tamanho semelhante em desempenho geral e economizando mais de 75% nos custos de treinamento.
📊 O modelo obteve pontuações superiores em vários conjuntos de dados de avaliação autorizados, com uma melhoria significativa na fusão de capacidades de raciocínio e diálogo.
🌐 O novo modelo suporta navegadores, permitindo exploração profunda de informações e se tornando um destaque na comunidade de código aberto.