美国科技巨头 Meta 推出了其最强大的开源人工智能模型 Llama4。此次首批发布共两款,分别是 Llama4Scout 和 Llama4Maverick 。

image.png

Llama4Scout 共有1090亿参数,170亿活跃参数,16个专家,最大亮点是支持1000万上下文,这相当于可以处理20+ 小时的视频,并且仅在单个 H100GPU(Int4量化后)上就能运行。在基准测试中,其性能超越 Gemma3、Gemini2.0Flash - Lite、Mistral3.1。

image.png

Llama4Maverick 共有4000亿参数,170亿活跃参数,128个专家,100万上下文。在大模型 LMSYS 排行榜上,Llama4Maverick 冲上第二(ELO 得分1417),仅次于闭源 Gemini2.5Pro,且仅用一半参数,其推理编码能力就与 DeepSeek - v3-0324实力相当。

另外,还有更强大的2万亿参数 Llama4Behemoth 将在未来几个月面世,它有2880亿活跃参数,16个专家,目前在 STEM 基准测试中,已超越了 GPT -4.5、Claude Sonnet3.7、Gemini2.0Pro。

Llama4系列首次采用混合专家(MoE)架构,该架构在训练和回答用户查询时效率更高。Llama4还是原生多模态模型,采用早期融合技术,能无缝整合文本和视觉 token。同时,Meta 还升级了视觉编码器,并开发了新训练方法 MetaP 来优化超参数。即日起,开发者可以在llama.com和 Hugging Face 下载这两款最新模型。

划重点:

  • 🌟Meta 推出开源多模态 Llama4,首批发布 Llama4Scout 和 Llama4Maverick,未来还将推出 Llama4Behemoth。
  • 💪Llama4性能强劲,在大模型排行榜中表现突出,推理编码等能力与其他优秀模型相当甚至超越。
  • 🛠️采用 MoE 架构,为原生多模态模型,有技术升级与新训练方法,开发者可下载使用。