Qwen1.5-MoE-A2.7B

大规模MoE语言模型,性能媲美七十亿参数模型

编辑推荐编程自然语言处理大模型
Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。
打开网站

Qwen1.5-MoE-A2.7B 最新流量情况

月总访问量

331351

跳出率

58.83%

平均页面访问数

2.0

平均访问时长

00:01:36

Qwen1.5-MoE-A2.7B 访问量趋势

Qwen1.5-MoE-A2.7B 访问地理位置分布

Qwen1.5-MoE-A2.7B 流量来源

Qwen1.5-MoE-A2.7B 替代品