在15小时内用几千元成本训练出中文版LLaMA2

站长之家报道,Colossal-AI团队通过词表扩充、数据筛选和多阶段训练策略,在15小时内用几千元成本训练出参数规模达85亿字元的中文版LLaMA2大模型。这个低成本方案使中文版LLaMA2在多项中文任务上的表现达到或超过同规模模型的先进水平。整个训练流程、代码和权重均已开源,可以轻松迁移应用到其他语言和领域,实现大模型的低成本快速构建。该方案已在多个行业取得良好效果。