Meta AI的最新项目Llama3专注于基于合成数据而非人类编写答案进行训练，以优化模型在代码生成、数学推理、多语言处理和长文本处理等领域的性能。Llama3通过三种方法生成合成数据用于代码生成，借鉴研究方法用于数学推理，并通过收集高质量人类注释进行多语言预训练。此外，Llama3在Brave搜索、Wolfram Alpha和Python解释器上的训练增强了其多轮函数调用能力。强化学习与人类反馈（RLHF）在Llama3训练中扮演关键角色，帮助模型理解人类偏好。Llama4项目将重点围绕智能体展开，同时Meta AI计划发布多模态版本的Llama，以进一步提升模型性能。

["网络犯罪分子开始利用生成式人工智能进行攻击，其中包括 Meta 的 Llama2 大型语言模型。","群聚蜘蛛组织利用 Llama2 生成了攻击脚本，针对一家北美金融服务公司。","安全公司警告目前检测 AI 攻击能力有限，但预计恶意使用 AI 的趋势将增加。","报告指出，2023 年恶意使用大型语言模型的尝试可能仍存在，但生成结果可能无效。"]

["清华大学最新研究提出AgentTuning方法,可以增强LLM的智能体能力。","构建了AgentInstruct智能体数据集,包含高质量的交互轨迹和CoT推理链。","采用混合指令微调策略,使用AgentInstruct与通用指令进行联合微调。","结果表明,AgentLM明显优于Llama 2,在held-in和held-out任务中表现出色。","70B版本的AgentLM在智能体任务上与GPT-3.5-turbo相匹配,提供开源替代方案。"]

["Meta发布Llama2-Long模型，处理长文本时不增加计算需求，仍保持卓越性能。","模型采用持续预训练、位置编码改进和数据混合策略，减少计算开销最多可达40%。","在长短任务上表现出色，超越其他长上下文模型，具有潜力革新自然语言处理领域。","模型在编码、数学和知识密集型任务上明显改进，甚至超越了GPT-3.5。","Llama2-Long模型的发布为处理长文本提供了强大的解决方案，注入新的活力到自然语言处理领域。"]

["通过词表扩充、数据筛选和多阶段训练策略,在15小时内用几千元成本训练出中文版LLaMA2","中文版LLaMA2在多项中文任务上的表现明显提升,达到同规模模型的先进水平","构建流程、代码和权重均开源,可迁移应用到其他语言和领域,实现低成本大模型训练","仅用15小时和几千元成本,就训出了中文版LLaMA2","所有训练代码和预训练权重均开源,可以直接应用到其他语言和领域,实现大模型低成本快速构建"]

["昆仑万维自研的天工大模型在 Benchmark GSM8K 测试中取得 80% 的正确率。","天工大模型的推理能力超过了 GPT-3.5 和 LLaMA2。","天工大模型在多个数据集上的表现出色。","天工大模型的解题思路更为简单、清晰。","天工大模型将为用户和企业提供强大的智能化助力。"]

["OpenAI、Meta、智谱 AI、Google DeepMind、Microsoft、Intel 等大语言模型领域的公司及研究学者在 ACM KDD 2023 上进行了分享。","大会聚焦大语言模型以及其在不同领域应用的最新研究进展，以及如何建立值得信赖的大语言模型。","大模型的特征、ChatGPT、GLM-130B、Llama2、推理能力、范式与挑战等主题受到关注。"]

["IBM 宣布将在其企业人工智能平台 WatsonX 上托管 MetaPlatform 的 AI 语言模型 MetaLlama2。","Llama2 是 Meta 于今年 7 月推出的开源人工智能语言模型的商业版本，由微软的 Azure 云服务分发。","目前，在 watsonx.ai 中，AI 构建者可以利用 IBM 和 Hugging Face 社区的模型，这些模型经过预训练，支持一系列自然语言处理（NLP）任务。"]

["IBM 计划在 watsonx.aistudio 中托管 Meta 的 Llama2 聊天 70 亿参数模型。","IBM 与 Meta 在 AI 开放创新方面有合作基础。","Llama2 模型将成为 IBM 提供第三方和自有 AI 模型的战略的一部分。"]