Qwen1.5-MoE-A2.7B
大规模MoE语言模型,性能媲美七十亿参数模型
编辑推荐编程自然语言处理大模型
Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。
Qwen1.5-MoE-A2.7B 最新流量情况
月总访问量
331351
跳出率
58.83%
平均页面访问数
2.0
平均访问时长
00:01:36