Llama3.1泄露了!你没听错，这个拥有4050亿参数的开源模型，已经在Reddit上引起了轩然大波。这可能是迄今为止最接近GPT-4o的开源模型，甚至在某些方面超越了它。
Llama3.1是由Meta（原Facebook）开发的大型语言模型。虽然官方还没有正式发布，但泄露的版本已经在社区引起了轰动。这个模型不仅包含了基础模型，还有8B、70B和最大参数的405B的基准测试结果。
性能对比:Llama3.1vs GPT-4o
从泄露的对比结果来看，即使是70B版本的Llama3.1，在多项基准测试上也超过了GPT-4o。这可是开源模型首次在多个benchmark上达到SOTA（State of the Art，即最先进的技术）水平，让人不禁感叹:开源的力量真是强大!
模型亮点:多语言支持，更丰富的训练数据
Llama3.1模型使用了公开来源的15T+ tokens进行训练，预训练数据截止日期为2023年12月。它不仅支持英语，还包括法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语等多种语言。这让它在多语言对话用例中表现出色。
Llama3.1研究团队非常重视模型的安全性。他们采用了多方面数据收集方法，结合人工生成数据与合成数据，以减轻潜在的安全风险。此外，模型还引入了边界prompt和对抗性prompt，以增强数据质量控制。
模型卡来源：https://pastebin.com/9jGkYbXY#google_vignette