zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-07-10 16:41:51
.
AIbase
.
10.2k
谷歌提出百万专家Mixture 释放进一步扩展 Transformer 的潜力
Google DeepMind发布了一项引领性的研究,中心围绕其提出的百万级专家模型——Mixture,该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索,实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制,通过乘积密钥技术分离计算成本与参数计数,PEER架构在语言模型任务中展现出卓越性能,优于密集式FFW,粗粒度MoE和PKM层。实证结果显示,通过调整专家数量与活跃专家数量,Mixture模型性能显著提升,特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力,对于AIGC领域具有重要影响。