O laboratório de inteligência artificial de Xangai lançou uma nova versão do modelo da série Shusheng·Puyu, o InternLM2.5, no Fórum Principal de Ciência de Vanguarda da WAIC em 4 de julho de 2024. Esta versão apresenta um aprimoramento abrangente na capacidade de raciocínio em cenários complexos, suporta um contexto extra longo de 1M e pode realizar pesquisas na internet e integrar informações de centenas de páginas da web de forma autônoma.
O InternLM2.5 lançou três versões de modelos com diferentes parâmetros: 1.8B, 7B e 20B, para atender a diferentes cenários de aplicação e necessidades de desenvolvedores. A versão 1.8B é um modelo ultraleve, enquanto a versão 20B oferece um desempenho geral mais forte, suportando cenários práticos mais complexos. Todos esses modelos são de código aberto e podem ser encontrados na página principal do modelo de grande escala da série Shusheng·Puyu, na página principal do ModelScope e na página principal do Hugging Face.
O InternLM2.5 passou por iterações em várias tecnologias de síntese de dados, melhorando significativamente a capacidade de raciocínio do modelo, especialmente na precisão do conjunto de avaliação matemática MATH, que atingiu 64,7%. Além disso, o modelo melhorou sua capacidade de processamento de comprimento de contexto por meio de treinamento eficiente na fase de pré-treinamento.
A série de modelos InternLM2.5 também implementou uma integração perfeita com estruturas de inferência e ajuste fino a jusante, incluindo a estrutura de ajuste fino XTuner e a estrutura de inferência LMDeploy desenvolvidas independentemente pelo laboratório de inteligência artificial de Xangai, bem como estruturas com uma ampla base de usuários na comunidade, como vLLM, Ollama e llama.cpp. A ferramenta SWIFT lançada pela comunidade MoDa também suporta inferência, ajuste fino e implantação de modelos da série InternLM2.5.
A experiência de aplicação desses modelos inclui raciocínio complexo em várias etapas, compreensão precisa da intenção de conversação em várias rodadas, operações de controle de formato flexíveis e a capacidade de seguir instruções complexas. Um guia de instalação e uso detalhado é fornecido para ajudar os desenvolvedores a começar rapidamente.
Página principal do modelo de grande escala da série Shusheng·Puyu:
https://internlm.intern-ai.org.cn
Página principal do ModelScope:
https://www.modelscope.cn/organization/Shanghai_AI_Laboratory?tab=model
Página principal do Hugging Face:
https://huggingface.co/internlm
Link de código aberto do InternLM2.5:
https://github.com/InternLM/InternLM
