zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-09-10 09:38:36
.
AIbase
.
11.7k
AI2 推出全新开源模型 OLMoE:高效、强大且不再昂贵!
艾伦人工智能研究所(AI2)发布了一款开源大型语言模型OLMoE,旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家(MoE)架构,拥有70亿参数,但通过智能路由机制,每个输入标记仅使用10亿参数,实现高效计算。OLMoE包含通用与指令调优两个版本,支持4096标记的上下文窗口。其训练数据来源广泛,包括Common Crawl、Dolma CC和维基百科等。在性能测试中,OLMoE在多项指标上优于其他相似参数模型,甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型,推动学术研究与开发,促进混合专家架构的广泛应用。