近日，来自图宾根埃利斯研究所、马里兰大学和劳伦斯利弗莫尔国家实验室的研究团队，开发出名为 Huginn 的新型语言模型，该模型采用递归架构，显著提升了推理能力。与传统模型不同，Huginn 无需专门的“推理链”训练，便可在神经网络的“潜在空间”内自主推理，再输出结果。
研究团队开发出名为 Huginn 的新型语言模型，该模型采用递归架构，显著提升了推理能力。与传统模型不同，Huginn 无需专门的“推理链”训练，便可在神经网络的“潜在空间”内自主推理，再输出结果。
Huginn 模型在 Frontier 超级计算机上，使用4096个 AMD GPU 进行了大规模训练。其训练方法独特，采用可变计算迭代次数，系统随机决定重复计算模块的次数，从而使模型能更好适应不同任务复杂度。
图源备注：图片由AI生成，图片授权服务商Midjourney
测试显示，Huginn 在数学和编程任务中表现突出，在 GSM8k 和 MATH 基准测试中，超越了参数规模和训练数据量均高于自身数倍的开源模型。研究人员观察到，Huginn 能够根据任务复杂性调整计算深度，并在“潜在空间”内发展出推理链。分析表明，模型在“潜在空间”中形成复杂计算模式，例如解决数学问题时呈现圆形轨迹。这证明 Huginn能自主学习并以新颖方式进行推理。
研究人员认为，尽管 Huginn 绝对性能尚待提升，但作为概念验证模型，其已展现惊人潜力。 随着推理时间延长和能力提升，采用 Huginn 架构的大型模型有望成为传统推理模型的替代方案。 团队强调，Huginn 的方法或能捕捉难以言表的推理类型，并计划未来继续研究，探索强化学习等扩展方法，以进一步提升模型性能。