腾讯今日发布开源MOE大语言模型Hunyuan-large,总参数量达398B,激活参数量52B。公开测评结果显示,腾讯混元Large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先,超过Llama3.1、Mixtral等一流的开源大模型。据了解,该模型在技术创新上可实现高质量合成数据,通过使用合成数据增强训练,有效应对自然数据的不足。在上下文处理能力方面,预训练模型支持高达256K的文本序列,显著增强了处理长上下文任务的能力。同时,腾讯混元宣布,为填补行业
社交网络 X(前身为 Twitter)周三更新了其隐私政策,表明它将允许第三方“合作者”使用 X 数据训练他们的 AI 模型,除非用户选择退出。这种变化可能会让 X 与其他社交媒体平台和媒体组织一样,考虑将数据授权给人工智能公司,以此作为一种潜在的新收入来源。更新后的隐私政策中,X 添加了一个段落,详细说明了如何使用 X 用户数据以及用户如何选择退出。然而,目前,设置中的“隐私和安全”部分并未提供明确的退出选项,可能是因为更新后的隐私政策要到11月15日才会生效,届时
伊利诺伊理工学院、浙江大学、中佛罗里达大学以及伊利诺伊大学芝加哥分校的研究团队近日联合发布了全新的3D场景大语言模型Robin3D。该模型在包含一百万条指令遵循数据的大规模数据集上进行训练,并在五个常用的3D多模态学习基准测试中均取得了当前最佳的性能表现,标志着在构建通用3D智能体方向上的重大进步。Robin3D的成功得益于其创新的数据引擎RIG (Robust Instruction Generation)。RIG引擎旨在生成对抗性指令遵循数据和多样化指令遵循数据两种关键指令数据。对抗性指令遵循数据通
最近AI圈子发生了一件怪事,就像一个吃播博主突然开始吃自己做的菜,而且越吃越上瘾,菜也越来越难吃。这事儿说起来还挺吓人,专业的术语叫模型崩溃(model collapse)。模型崩溃是啥?简单来说,就是AI模型在训练过程中,如果大量使用自己生成的数据,就会陷入一个恶性循环,导致模型生成的质量越来越差,最终完犊子。这就像一个封闭的生态系统,AI模型就是这个系统里的唯一生物,它生产的食物就是数据。一开始,它还能找到一些天然的食材(真实数据),但随着时间的推移,它