在当前大型语言模型（LLM）开发的竞争中，各大人工智能公司面临着越来越多的挑战，因此，越来越多的目光开始转向 “Transformer” 以外的替代架构。Transformer 架构自2017年由谷歌研究人员提出以来，已成为当今生成式人工智能的基础。为了应对这一挑战，由麻省理工学院孵化的初创公司 Liquid AI 推出了一种名为 STAR(Synthesis of Tailored Architectures)的创新框架。STAR 框架利用进化算法和数值编码系统，旨在自动化生成和优化人工智能模型架构。Liquid AI 的研究团队指出，STAR 的设计方法不同于传统

彩云科技日前在北京举办"From Paper to App"主题沟通会，正式发布基于DCFormer架构的通用大模型"云锦天章"，并宣布旗下AI RPG平台彩云小梦升级至基于DCFormer的V3. 5 版本。这标志着人工智能领域在模型架构效率方面取得重大突破。在AI领域，Transformer架构一直是ChatGPT、Gemini等主流大模型的核心技术支撑。今年，彩云科技在国际顶级会议ICML上发表的论文《Improving Transformers with Dynamically Composable Multi-Head Attention》首次提出DCFormer架构。测试显示，基于该架构开发的DCPythia-6.9B模型在性能上实现了对传统

生成高质量、时间连续的视频需要大量的计算资源，尤其是对于较长的时间跨度而言。最新的扩散Transformer 模型（DiTs）虽然在视频生成方面取得了显著进展，但由于其依赖于更大的模型和更复杂的注意力机制，导致推理速度较慢，反而加剧了这一挑战。为了解决这个问题，Meta AI 的研究人员提出了一种名为 AdaCache 的免训练方法来加速视频 DiTs。AdaCache 的核心思想是基于“并非所有视频都相同”这一事实，这意味着某些视频比其他视频需要更少的去噪步骤即可达到合理的质量。 基于此，该方

阿里巴巴通义实验室最新研究表明，现有的文生图 Diffusion Transformer 模型其实已经具备生成多张具有特定关系图像的能力，只需稍加“点拨”就能“融会贯通”，生成高质量的多图集。传统的 Diffusion 模型更像是一个“死记硬背”的学生，需要用海量数据训练，才能生成高质量的图像。而有了 IC-LoRA 加持，它就变成了“触类旁通”的学霸，只需要少量样本就能学会新技能。这背后的原理说起来也不复杂，研究人员发现，现有的文生图 Diffusion 模型其实已经具备一定的“上下文学习”能力，只

最近，DeepMind一篇关于超大规模 Transformer 在国际象棋领域应用的论文，引发了 AI 社区的广泛讨论。研究人员利用名为 ChessBench 的全新数据集，训练了多达2.7亿参数的 Transformer 模型，探索其在棋类这种复杂规划问题上的能力。ChessBench 数据集包含从 Lichess 平台收集的1000万局人类对弈棋谱，并使用顶级象棋引擎 Stockfish16对棋局进行了标注，提供了多达150亿个数据点，包括每个棋局状态的胜率、最佳走法以及所有合法走法的价值评估。研究人员使用监督学习方法，训练 Transformer 模型预测给定棋

大型语言模型在许多任务中表现出色，但其推理能力一直备受争议。Meta 的研究人员近日发表论文，展示了他们如何利用 Transformer 模型解决数学领域一个长期存在的难题:发现动力系统的全局李雅普诺夫函数。李雅普诺夫函数可以判断一个动力系统是否稳定，例如，它可以用来预测三体问题的长期稳定性，即三个天体在引力作用下的长期运动轨迹。然而，目前还没有找到通用的方法来推导出李雅普诺夫函数，只有少数系统已知其对应的函数。为了解决这个问题，Meta 的研究人员训练了一个序

Meta 的 FAIR 团队最近推出了一款名为 Dualformer 的全新 Transformer 模型，该模型模仿人类的双重认知系统，能够无缝整合快速和慢速推理模式，在推理能力和计算效率上取得了显著突破。人类的思维过程通常被认为是由两种系统控制的:系统1快速直观，系统2则更慢但更具逻辑性。传统的 Transformer 模型通常只模拟了系统1或系统2中的一种，导致模型要么速度快但推理能力差，要么推理能力强但速度慢且计算成本高。Dualformer 的创新之处在于其训练方式。研究人员利用随机推理轨迹对模型进行训练

最近大语言模型（LLM）发展迅猛，其中Transformer模型功不可没。Transformer的核心是注意力机制，它像一个信息过滤器，让模型关注句子中最重要的部分。但即使是强大的Transformer，也会被无关信息干扰，就好比你在图书馆想找本书，结果被一堆无关的书淹没，效率自然低下。这种注意力机制产生的无关信息，在论文中被称为注意力噪音。想象一下，你想在文件中找一个关键信息，结果Transformer模型的注意力却分散到各种无关的地方，就像一个近视眼，看不清重点。为了解决这个问题，这篇论

中国工程院院士王坚在2024外滩大会开幕式上分享了对AI、AI+和AI基础设施的深入思考。他强调，AI+并非简单结合AI与产业，而是数据、模型与算力的整合，云计算是AI时代的基础设施。王坚指出，人工智能虽有漫长历史，但真正影响产业的只有7年，关键转折点在于2017年谷歌提出Transformer。人工智能+逻辑下，ChatGPT不仅是一个应用，更是一个应用平台，其核心是Transformer模型。王坚认为，“+”代表的是机制创新，即数据、模型与算力的组合，这催生了AI基础设施。他指出，基础设施的变革，如云计算，对人类影响深远。这三个领域的革命同时发生，正创造未来。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。

这是一个交互式的可视化工具，专门设计给非专业人士使用。通过这个工具，我们可以直接在浏览器中运行GPT-2模型，实时观察模型是如何一步步"读懂"我们的文字，并预测出下一个词的。

在人工智能领域，Transformer模型因其在处理语言任务上的卓越表现而受到广泛关注。最近的研究论文"Transformer Layers as Painters"以创新视角探讨了Transformer模型的层级结构，将每一层比喻为一位画家，在语言的画布上绘制出复杂而丰富的文本。研究通过实验揭示了Transformer层的工作机制，特别是它们如何协同工作，以及层的顺序和并行性对模型性能的影响。实验表明，中间层的画家们共享一个共同的“颜料盒”，但通过各自独特的技艺，共同创造出一幅幅宏大的语言画卷。研究发现，并非所有层都是必不可少的，跳过某些层对模型性能影响不大，但改变层的执行顺序会显著影响性能。此外，论文还讨论了Transformer模型的优化策略，为理解模型提供了新的视角。

智谱AI宣布将其视频生成模型CogVideoX开源，旨在推动视频生成技术的快速发展和应用。CogVideoX模型基于先进的大型模型技术，能够满足商业级应用的需求。目前开源的CogVideoX-2B版本在FP-16精度下的推理仅需18GB显存，微调则需要40GB显存，使得单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。

MusiConGen模型是在预训练的MusicGen-melody框架基础上进行微调的，主要用于生成各种风格的音乐片段。研究团队通过设置和弦和节奏的控制参数，展示了模型生成的音乐样本，涵盖了五种不同风格:休闲布鲁斯、平滑酸爵士、经典摇滚、高能放克以及重金属。

Meta AI发布的Llama3.1模型在性能上与顶级闭源模型并驾齐驱，标志着开源AI重大突破。这是新一代大型语言模型，经过优化的训练栈和大规模GPU计算资源支持，实现多项技术亮点。包括上下文长度扩展至128K，支持8种语言，以及在多个测试领域展现卓越能力。通过迭代的post-training流程，模型不断提高性能，特别是在遵循指令、一致性、多语言翻译上表现出色。Llama3.1在15万亿token上进行的训练是业界首次，采用标准仅解码器的Transformer架构并进行了改进。Meta强调开源AI的开放性、可修改性和成本效率，它将推动AI技术的普及和发展。与多家公司合作发展生态系统，Llama3.1的发布预示开源AI可能成为行业标准，为AI的广泛应用辟新径。

格灵深瞳开源了RWKV-CLIP模型，这是一个结合了Transformer和RNN优点的视觉语言表征学习器。该模型通过图文预训练任务，使用从网站获取的图像-文本对扩展数据集，显著提高了视觉和语言任务的性能。为了解决噪声数据问题并提高数据质量，研究团队引入了一个多样化的描述生成框架，利用大型语言模型（LLM）从基于网络的文本、合成字幕和检测标签中合成和细化内容。

全新Transformer加速技术FlashAttention-3发布，显著提升大型语言模型推理速度和降低运行成本。对比前版本，此更新大幅提高GPU利用率，训练和运行速度提升1.5至2倍。采用低精度数字（FP8），保持高准确性同时大幅降低成本。处理长文本能力显著增强，大幅优化了内存消耗与序列长度关系，特别是与大规模数据集和长序列的兼容性。技术亮点包括先进算法支持、Hopper GPU优化以及集成的多种先进技术，使模型性能和应用范围大幅提升。安装简单，兼容CUDA11.6与PyTorch1.12以上版本，Linux下使用pip命令安装，Windows用户亦有指导文档辅助。整体而言，FlashAttention-3提供高效性能、内存优化、先进特性和易用性，能够在各种项目中便捷集成。

Google DeepMind发布了一项引领性的研究，中心围绕其提出的百万级专家模型——Mixture，该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索，实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制，通过乘积密钥技术分离计算成本与参数计数，PEER架构在语言模型任务中展现出卓越性能，优于密集式FFW，粗粒度MoE和PKM层。实证结果显示，通过调整专家数量与活跃专家数量，Mixture模型性能显著提升，特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力，对于AIGC领域具有重要影响。

TTT：全新提出的Test-Time-Training layers架构，由斯坦福、UCSD、UC伯克利和Meta的研究人员共同研发，一夜间颠覆了Transformer和Mamba的主导地位，为语言模型带来了革命性的改变。TTT架构创新性地通过梯度下降压缩上下文，替代传统注意力机制，具备训练大规模语言模型（数十亿token）的能力，同时保持稳定的线性复杂度且表现出超越传统Transformer的记忆能力和效率。实验结果表明，TTT层在短上下文和长上下文测试中均取得了优异性能，特别是在处理长上下文场景下，其性能优势更为显著，将为长视频建模等应用领域的突破提供新机遇。经过五年持续研发，TTT层的成功是团队持续创新与努力的结晶，有望为AI领域尤其是长视频处理技术带来革新，开启新的应用之路。

谷歌研究团队近期发布创新模型TransNAR，融合Transformer与神经算法推理（NAR），旨在提升算法操作性能。传统Transformer在算法推理上的弱点通过引入NAR得以弥补，NAR擅长处理结构化数据并具有出色的泛化能力。TransNAR通过跨注意力机制将两者深度结合，使模型能够同时理解文本形式的算法问题和图结构，因而性能更为优越。在独特训练策略下，NAR经过预训练学习算法逻辑与步骤，随后TransNAR在微调阶段接收文本与图输入，运用预训练NAR的知识进行调节。这一进程令TransNAR在算法任务上表现出色，尤其在分布外泛化能力上实现了20%以上的显著优化。