在当前大型语言模型（LLM）开发的竞争中，各大人工智能公司面临着越来越多的挑战，因此，越来越多的目光开始转向 “Transformer” 以外的替代架构。Transformer 架构自2017年由谷歌研究人员提出以来，已成为当今生成式人工智能的基础。为了应对这一挑战，由麻省理工学院孵化的初创公司 Liquid AI 推出了一种名为 STAR(Synthesis of Tailored Architectures)的创新框架。STAR 框架利用进化算法和数值编码系统，旨在自动化生成和优化人工智能模型架构。Liquid AI 的研究团队指出，STAR 的设计方法不同于传统

最近，DeepMind一篇关于超大规模 Transformer 在国际象棋领域应用的论文，引发了 AI 社区的广泛讨论。研究人员利用名为 ChessBench 的全新数据集，训练了多达2.7亿参数的 Transformer 模型，探索其在棋类这种复杂规划问题上的能力。ChessBench 数据集包含从 Lichess 平台收集的1000万局人类对弈棋谱，并使用顶级象棋引擎 Stockfish16对棋局进行了标注，提供了多达150亿个数据点，包括每个棋局状态的胜率、最佳走法以及所有合法走法的价值评估。研究人员使用监督学习方法，训练 Transformer 模型预测给定棋

大型语言模型在许多任务中表现出色，但其推理能力一直备受争议。Meta 的研究人员近日发表论文，展示了他们如何利用 Transformer 模型解决数学领域一个长期存在的难题:发现动力系统的全局李雅普诺夫函数。李雅普诺夫函数可以判断一个动力系统是否稳定，例如，它可以用来预测三体问题的长期稳定性，即三个天体在引力作用下的长期运动轨迹。然而，目前还没有找到通用的方法来推导出李雅普诺夫函数，只有少数系统已知其对应的函数。为了解决这个问题，Meta 的研究人员训练了一个序

最近大语言模型（LLM）发展迅猛，其中Transformer模型功不可没。Transformer的核心是注意力机制，它像一个信息过滤器，让模型关注句子中最重要的部分。但即使是强大的Transformer，也会被无关信息干扰，就好比你在图书馆想找本书，结果被一堆无关的书淹没，效率自然低下。这种注意力机制产生的无关信息，在论文中被称为注意力噪音。想象一下，你想在文件中找一个关键信息，结果Transformer模型的注意力却分散到各种无关的地方，就像一个近视眼，看不清重点。为了解决这个问题，这篇论

["Inceptive通过大规模学习生物软件语言,实现新的蛋白质和药物的设计生成。","Inceptive将深度学习应用于药物设计,实现可编程、可扩展的新药开发。","Inceptive CEO Jakob Uszkoreit提出LLM计算资源分配不足是效率低下的关键因素。"]

["👥 <b>Transformer架构</b>:Transformer架构通过自注意力机制来理解单词之间的关系,从而大大增强了计算机处理语言的能力。","💡 <b>生成式AI应用</b>:基于Transformer的生成式AI应用已经覆盖聊天机器人、智能键盘、语音识别等多种领域,并且正在拓展到处理图像、音乐、代码等非文本数据。","❓ <b>模型局限</b>:由于对事实缺乏判断能力,生成式AI模型有时会产生“幻觉”,编造虚假信息,这仍然是一个研究难题。"]

{"1":"谷歌八子之一的 Llion Jones 与前谷歌大脑顶级研究人员 David Ha 在东京创办人工智能研究公司 Sakana AI，打算摒弃 Transformer，采用一种基于 “自然启发的新型智能基础模型”。","2":"Sakana AI 的理念是制造多个较小的人工智能模型，让它们像鱼群一样协同工作，共同解决问题。","3":"创始人希望通过演化计算的原理来构建人工智能模型，使其能够适应变化、节省成本并提高安全性。"}

["Transformer 出逃八子最后一人正式创业！坐标日本搞 AI “群” 模型","谷歌经典 Transformer 论文 8 位作者的最后一位，创业去向已定！","新公司 base 东京，目标是做一家 “世界级人工智能研究室”"]