字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型（MoE）架构的关键瓶颈，并开源一项名为COMET的重大优化技术。该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。图源备注：图片由AI生成，图片授权服务商Midjourney据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。与近期DeepSeek开源的DualPipe等MoE优化方案相比，COMET具有更强的兼容性和便捷性，能够像插件一样直接接入现有的MoE训