O B站 anunciou o lançamento de código aberto do modelo Index-1.9B, um modelo de linguagem de IA leve que gerou amplo interesse. O modelo Index-1.9B inclui várias versões, incluindo o modelo base, um grupo de controle e um modelo de conversa.
1.9B inclui: Index-1.9B base: Modelo base, com 1,9 bilhão de parâmetros não incorporados de palavras, pré-treinado em um corpus de 2,8T principalmente em chinês e inglês, líder em vários benchmarks em comparação com modelos do mesmo nível.
Index-1.9B pure: Grupo de controle do modelo base, com os mesmos parâmetros e estratégia de treinamento do base. A diferença está na filtragem rigorosa de todos os dados relacionados a instruções no corpus desta versão, para verificar a influência das instruções no benchmark.
Index-1.9B chat: Modelo de conversa baseado no Index-1.9B base, alinhado por meio de SFT e DPO. Devido à introdução de muitos dados de comunidades online no pré-treinamento, a conversa é claramente mais interessante.
Index-1.9B character: Com base em SFT e DPO, introduziu RAG para realizar personalização de interpretação de papéis com poucos exemplos.
Acesso ao produto Index-1.9B:https://top.aibase.com/tool/index-1-9b