B 站开源轻量级 AI 语言模型 Index-1.9B 模型

B 站宣布开源了 Index-1.9B 模型，这一轻量级 AI 语言模型的推出引起了广泛关注。Index-1.9B 模型包含多个版本，其中包括基座模型、对照组和对话模型。

1.9B包含:Index-1.9B base : 基座模型，具有19亿非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先

Index-1.9B pure : 基座模型的对照组，与base具有相同的参数和训练策略，不同之处在于严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对benchmark的影响

Index-1.9B chat : 基于index-1.9B base通过SFT和DPO对齐后的对话模型，由于预训练中引入了较多互联网社区语料，聊天的趣味性明显更强

Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制

AI新闻资讯