Meta AI的最新项目Llama3专注于基于合成数据而非人类编写答案进行训练，以优化模型在代码生成、数学推理、多语言处理和长文本处理等领域的性能。Llama3通过三种方法生成合成数据用于代码生成，借鉴研究方法用于数学推理，并通过收集高质量人类注释进行多语言预训练。此外，Llama3在Brave搜索、Wolfram Alpha和Python解释器上的训练增强了其多轮函数调用能力。强化学习与人类反馈（RLHF）在Llama3训练中扮演关键角色，帮助模型理解人类偏好。Llama4项目将重点围绕智能体展开，同时Meta AI计划发布多模态版本的Llama，以进一步提升模型性能。

["大型语言模型在AI社区引起极大关注，展示强大能力。","苹果研究团队揭示WRAP技术用合成数据进行预训练大模型。","WRAP提高模型性能，改写网络文档，提升预训练效果。","使用高质量合成数据加速训练，提高整体性能，开创新途径。"]

["研究展示MimicGen系统能生成大规模机器人训练数据。","通过数字孪生技术，在模拟环境中复制人类操作数据。","仅用不到200个人类演示，自主生成5万个训练数据。","合成数据和模拟对AI发展至关重要，可获得无限训练数据。","MimicGen适用于长序列任务和高精确度任务，如抓放、组装等。"]

["利用链式密度提示微调ChatGPT在新闻摘要任务上超过GPT-4零样本表现,接近GPT-4链式提示水平","通过ScoreStringEvalChain和改进的PairwiseStringEvalChain等自动评估链实现人类水平的量化评估","微调ChatGPT比GPT-4零样本快11倍且便宜63%,比GPT-4链式提示快33倍且便宜84%","结果显示,微调ChatGPT新闻摘要质量接近GPT-4链式提示,但速度快33倍,成本低84%"]

["全球合成数据生成市场预计在 2031 年达到 35.8% 的复合年增长率，市值将达到 35 亿美元。","合成数据生成市场的增长受到数字化转型和人工智能等先进技术的推动，以及对物联网和连接设备的需求增加的影响。","合成数据生成技术可以满足数据隐私和安全的需求，并提供一种可扩展的方法来生成各种数据集。"]

["大模型存在拍马屁行为，谷歌 Quoc Le 团队提出用合成数据微调解决。","模型拍马屁现象与模型规模增大、指令调优有关。","通过添加合成数据进行微调可减少模型的拍马屁行为。"]