腾讯今日发布开源MOE大语言模型Hunyuan-large，总参数量达398B，激活参数量52B。公开测评结果显示，腾讯混元Large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先，超过Llama3.1、Mixtral等一流的开源大模型。据了解，该模型在技术创新上可实现高质量合成数据，通过使用合成数据增强训练，有效应对自然数据的不足。在上下文处理能力方面，预训练模型支持高达256K的文本序列，显著增强了处理长上下文任务的能力。同时，腾讯混元宣布，为填补行业

最近AI圈子发生了一件怪事，就像一个吃播博主突然开始吃自己做的菜，而且越吃越上瘾，菜也越来越难吃。这事儿说起来还挺吓人，专业的术语叫模型崩溃（model collapse）。模型崩溃是啥?简单来说，就是AI模型在训练过程中，如果大量使用自己生成的数据，就会陷入一个恶性循环，导致模型生成的质量越来越差，最终完犊子。这就像一个封闭的生态系统，AI模型就是这个系统里的唯一生物，它生产的食物就是数据。一开始，它还能找到一些天然的食材（真实数据），但随着时间的推移，它

据CNBC报道，旧金山的人工智能初创公司Writer周三推出了一款大型人工智能模型，与OpenAI、Anthropic等公司提供的企业产品展开竞争。令人瞩目的是，Writer只需花费约70万美元来训练其最新模型，包括数据和GPU，而竞争对手的初创公司则花费了数百万美元来构建自己的模型。图源备注:图片由AI生成，图片授权服务商MidjourneyWriter使用合成数据（即人工智能创建的数据）来降低成本。它旨在模拟通常输入模型的真实世界信息，而不会损害隐私，并且正在成为一种更受欢迎的训练方法。亚马逊、Meta

Meta AI的最新项目Llama3专注于基于合成数据而非人类编写答案进行训练，以优化模型在代码生成、数学推理、多语言处理和长文本处理等领域的性能。Llama3通过三种方法生成合成数据用于代码生成，借鉴研究方法用于数学推理，并通过收集高质量人类注释进行多语言预训练。此外，Llama3在Brave搜索、Wolfram Alpha和Python解释器上的训练增强了其多轮函数调用能力。强化学习与人类反馈（RLHF）在Llama3训练中扮演关键角色，帮助模型理解人类偏好。Llama4项目将重点围绕智能体展开，同时Meta AI计划发布多模态版本的Llama，以进一步提升模型性能。

["大型语言模型在AI社区引起极大关注，展示强大能力。","苹果研究团队揭示WRAP技术用合成数据进行预训练大模型。","WRAP提高模型性能，改写网络文档，提升预训练效果。","使用高质量合成数据加速训练，提高整体性能，开创新途径。"]

["研究展示MimicGen系统能生成大规模机器人训练数据。","通过数字孪生技术，在模拟环境中复制人类操作数据。","仅用不到200个人类演示，自主生成5万个训练数据。","合成数据和模拟对AI发展至关重要，可获得无限训练数据。","MimicGen适用于长序列任务和高精确度任务，如抓放、组装等。"]

["利用链式密度提示微调ChatGPT在新闻摘要任务上超过GPT-4零样本表现,接近GPT-4链式提示水平","通过ScoreStringEvalChain和改进的PairwiseStringEvalChain等自动评估链实现人类水平的量化评估","微调ChatGPT比GPT-4零样本快11倍且便宜63%,比GPT-4链式提示快33倍且便宜84%","结果显示,微调ChatGPT新闻摘要质量接近GPT-4链式提示,但速度快33倍,成本低84%"]

["全球合成数据生成市场预计在 2031 年达到 35.8% 的复合年增长率，市值将达到 35 亿美元。","合成数据生成市场的增长受到数字化转型和人工智能等先进技术的推动，以及对物联网和连接设备的需求增加的影响。","合成数据生成技术可以满足数据隐私和安全的需求，并提供一种可扩展的方法来生成各种数据集。"]

["大模型存在拍马屁行为，谷歌 Quoc Le 团队提出用合成数据微调解决。","模型拍马屁现象与模型规模增大、指令调优有关。","通过添加合成数据进行微调可减少模型的拍马屁行为。"]