搜索全球AI产品动态

人工智能芯片巨头英伟达的研究人员近日发布了一项名为“FFN融合”（FFN Fusion）的创新架构优化技术。该技术旨在通过解决Transformer架构中固有的串行计算瓶颈，显著提升大型语言模型（LLMs）的推理效率，为更广泛地部署高性能AI应用铺平道路.近年来，大型语言模型在自然语言处理、科学研究和对话代理等领域展现出强大的能力。然而，随着模型规模和复杂性的不断增加，其推理过程所需的计算资源也大幅增长，导致了效率瓶颈。Transformer架构是LLM的基础，其交替的注意力机制和前馈网络

近日，腾讯发布了混元大模型系列的正式版 —— 混元 - T1。这款新模型基于混元中等规模底座，经过大规模后训练，显著增强了推理能力，特别是在深度思考和复杂问题解决方面表现出色。自从今年2月混元 T1-Preview 上线以来，用户们便体验到了更快、更深刻的思考过程，而此次正式版的推出，则标志着该系列产品的进一步升级。混元 - T1的研发团队利用最新的 TurboS 基座，这是一种行业领先的超大规模 Hybrid-Transformer-Mamba MoE 模型。TurboS 在处理长文本推理时展现出独特优势，有效解决了上下

深度计算领域再添利器!摩尔线程今日重磅宣布，正式开源MT-MegatronLM与MT-TransformerEngine两大AI框架，这一举措将为国产计算基础设施注入强劲动力。这两大框架通过深度融合FP8混合训练策略和高性能算子库，成功在国产全功能GPU上实现混合并行训练和推理，大幅提升了大模型训练的效率与稳定性。摩尔线程此次开源的MT-MegatronLM框架专为全功能GPU打造，支持dense模型、多模态模型及MoE（混合专家）模型的高效训练，满足了当前AI领域多样化的训练需求。而MT-TransformerEngine则主攻Transformer模型的训

在深度学习领域，归一化层被视为现代神经网络中不可或缺的组件之一。最近，一项由 Meta FAIR 研究科学家刘壮主导的研究成果 ——“没有归一化层的 Transformer” 引发了广泛关注。这项研究不仅提出了一种名为动态 tanh（Dynamic Tanh，DyT）的新技术，还展示了在不使用传统归一化层的情况下，Transformer 架构依然可以实现高效的训练和推理。归一化层，尤其是层归一化（Layer Normalization，LN），在过去的十年中对优化深度学习模型起到了至关重要的作用。LN 层通过将输入激活进行缩放和压缩，从

3月13日，Sesame公司推出其最新语音合成模型CSM，引发业界关注。据官方介绍，CSM采用端到端基于Transformer的多模态学习架构，能够理解上下文信息，生成自然且富有情感的语音，声音效果贴近真人，令人惊艳。该模型支持实时语音生成，可处理文本和音频输入，用户还能通过调整参数控制语气、语调、节奏及情感等特性，展现高度灵活性。CSM被认为是AI语音技术的重要突破。其语音自然度极高，甚至“无法分辨是人工合成还是真人”。有用户录制视频展示CSM几近无延迟的表现，称其为“体验

还在为大模型处理长文本“龟速”而抓狂?别急!清华大学祭出“王炸”技术——APB 序列并行推理框架，直接给大模型装上“涡轮增压”引擎!实测显示，这项黑科技在处理超长文本时，速度竟比肩 Flash Attention 快10倍!没错，你没听错，是10倍!要知道，随着 ChatGPT 等大模型的爆火，AI 们“阅读”能力也水涨船高，动辄处理十几万字的长文不在话下。然而，面对海量信息，传统大模型的“大脑”却有点卡壳—— Transformer 架构虽强，但其核心的注意力机制就像一个“超级扫描仪”，文本越长，扫描

今日，腾讯在X平台上正式宣布推出其最新AI模型Hunyuan-TurboS，这款被誉为“首款超大型Hybrid-Transformer-Mamba MoE模型”的产品迅速引发全球科技圈的热议。根据X用户披露的信息，Hunyuan-TurboS通过融合Mamba的高效长序列处理能力和Transformer的强大上下文理解能力，成功克服了传统纯Transformer模型在长文本训练和推理上的瓶颈，展现出令人瞩目的性能突破。据介绍，传统Transformer模型因O（N²）复杂度和KV-Cache问题，在处理长文本时往往面临效率低下和高成本的挑战。而Hunyuan-TurboS巧妙结合了两大技术优

近年来，基于 Transformer 架构的大型语言模型（LLMs）取得了显著进展，诸如 Gemini-Pro1.5、Claude-3、GPT-4和 Llama-3.1等新模型能够处理成百上千的token。然而，这些扩展的上下文长度带来了实际应用中的一些重大挑战。随着序列长度的增加，解码延迟上升，内存限制也成为了一个严重的瓶颈。KV 缓存在推理过程中储存上下文信息，随着上下文长度的增加，缓存的大小也呈比例增长，这导致内存饱和，严重影响了处理长输入序列的效率，因此迫切需要优化解决方案。虽然市场上存在一些无训练的方

在计算机视觉领域，多视角3D 重建一直是一项重要且具挑战性的任务，尤其是在需要精确且可扩展的表示时。现有的主流方法，例如 DUSt3R，主要采用成对处理的方式，这种方法在进行多视角重建时需要复杂的全局对齐程序，既耗时又耗力。为了解决这一问题，研究团队提出了 Fast3R，这是一种创新的多视角重建技术，它可以在一次前向传播中处理多达1500张图片，大幅提升了重建速度。Fast3R 的核心是一个基于 Transformer 的架构，能够并行处理多张视图信息，从而省去迭代对齐的过程。这一新

在图像生成领域，多层图像生成技术正逐渐改变用户与生成模型的互动方式，允许用户隔离、选择并编辑特定的图像层。近日，微软研究人员推出了一种名为 “Anonymous Region Transformer”（ART）的新型技术，它能够根据全球文本提示和匿名区域布局，直接生成可变多层透明图像。ART 的设计灵感来源于 “图式理论”，通过采用匿名区域布局，使生成模型可以自主决定哪些视觉信息与哪些文本信息对齐。这一方法与以往的语义布局形成鲜明对比。传统的语义布局通常需要明确的对应关系，而 ART

近年来，随着大型语言模型（LLMs）的快速发展，自然语言处理领域经历了前所未有的变革。这些技术如今广泛应用于代码助手、搜索引擎和个人 AI 助手等场景，展现了强大的能力。然而，传统的 “下一个 token 预测” 范式存在一定局限性，尤其是在处理复杂推理和长期任务时，模型需要经历大量训练才能掌握深层次的概念理解。为了解决这一问题，Meta 等机构的研究者们提出了一种名为 “连续概念混合”（CoCoMix）的新颖预训练框架。这一方法不仅保留了下一个 token 预测的优点，还引入了

七彩虹科技正式宣布，其全新的 “虹光 AI” 智能模型助手已全面接入满血版 DeepSeek R1模型。这一升级使得七彩虹的笔记本产品在性能和推理效率上得到了显著提升。此次更新的 “虹光 AI” 助手，基于当前热门的 Transformer 架构，并采用了 MLA 与 Deep Seek MoE 技术，显著降低了内存占用，减少了缓存需求，从而提升了整体的推理效率。据了解，Deep Seek MoE 技术通过引入辅助损失来实现负载的智能平衡，这不仅优化了模型性能，还使得用户在使用过程中能够享受到更快速的响应体验。这一系列技

Sakana AI 是一家专注于自然启发算法的人工智能研究实验室，近日推出了一种名为 Transformer² （Transformer-squared） 的创新自适应语言模型。该模型无需昂贵的微调，即可在推理过程中动态学习并适应新任务，这标志着大型语言模型 (LLM) 技术发展的重要一步。Transformer² 的核心创新在于其独特的两步动态权重调整机制。首先，它分析传入的用户请求，理解任务需求;然后，通过数学技巧，利用奇异值分解 （SVD） 将模型权重与任务需求对齐。通过有选择地调整模型权重的关键组件，Transformer² 能

传统的大型语言模型（LLM）微调方法通常计算密集，且在处理多样化任务时显得静态。为了解决这些挑战，Sakana AI 推出了一种名为 Transformer² 的新型自适应框架。Transformer² 能够在推理过程中实时调整LLM的权重，使其能够适应各种未知的任务，就像章鱼一样灵活。Transformer² 的核心在于一个两阶段机制:第一阶段，一个调度系统会分析用户的查询，识别任务的属性。第二阶段，系统会动态混合多个“专家”向量。这些向量是使用强化学习训练出来的，每个向量都专注于特定类型的任务，从而

ViTPose是一个开源的动作预估模型，它特别擅长识别人体姿态，就像能看懂你在做什么动作一样。 这个模型最厉害的地方在于它的简洁和高效，它没有采用复杂的网络结构，而是直接使用了一种叫做视觉Transformer的技术。ViTPose 的核心是使用纯粹的视觉Transformer，这就像一个强大的“骨架”，可以提取图像中的关键特征。 它不像其他模型那样需要复杂的卷积神经网络（CNN）来辅助。 它的结构非常简单，就是把多个Transformer层叠在一起。ViTPose 模型可以根据需要调整大小。 就像一个可以伸缩的

在2022年全球生成式 AI 浪潮的背景下，元始智能（RWKV）于2023年12月完成数千万人民币的天使轮融资，由天际资本投资。此次融资后，公司估值翻倍，资金将用于团队扩展、新架构研发及产品商业化。RWKV 的出现，是对传统 Transformer 架构的一次有力挑战。随着大语言模型（LLM）的发展，虽然模型的参数规模日益庞大，但其在幻觉和准确率等问题上的短板始终难以解决。因此，RWKV 的创始团队决定探索一种全新的架构，以期实现更高的效率和灵活性。RWKV 的设计理念与 Transformer 截然不同。联合

一项由中国科学院、同济大学和宁波大学联合团队开发的创新点云压缩技术（TSC-PCAC）取得重大突破。这项技术不仅大幅提升了点云数据的压缩效率，还显著降低了处理时间，为AR/VR等3D应用的发展扫清了技术障碍。在当前3D视觉技术快速发展的背景下，点云作为虚拟现实和增强现实的关键数据形式，面临着巨大的传输和存储挑战。一个高质量的点云可能包含数百万个数据点，每个点都携带着位置、颜色、透明度等多维信息。这些海量数据的处理效率直接影响着3D应用的普及速度。针对这一难

在当前大型语言模型（LLM）开发的竞争中，各大人工智能公司面临着越来越多的挑战，因此，越来越多的目光开始转向 “Transformer” 以外的替代架构。Transformer 架构自2017年由谷歌研究人员提出以来，已成为当今生成式人工智能的基础。为了应对这一挑战，由麻省理工学院孵化的初创公司 Liquid AI 推出了一种名为 STAR(Synthesis of Tailored Architectures)的创新框架。STAR 框架利用进化算法和数值编码系统，旨在自动化生成和优化人工智能模型架构。Liquid AI 的研究团队指出，STAR 的设计方法不同于传统

彩云科技日前在北京举办"From Paper to App"主题沟通会，正式发布基于DCFormer架构的通用大模型"云锦天章"，并宣布旗下AI RPG平台彩云小梦升级至基于DCFormer的V3. 5 版本。这标志着人工智能领域在模型架构效率方面取得重大突破。在AI领域，Transformer架构一直是ChatGPT、Gemini等主流大模型的核心技术支撑。今年，彩云科技在国际顶级会议ICML上发表的论文《Improving Transformers with Dynamically Composable Multi-Head Attention》首次提出DCFormer架构。测试显示，基于该架构开发的DCPythia-6.9B模型在性能上实现了对传统

生成高质量、时间连续的视频需要大量的计算资源，尤其是对于较长的时间跨度而言。最新的扩散Transformer 模型（DiTs）虽然在视频生成方面取得了显著进展，但由于其依赖于更大的模型和更复杂的注意力机制，导致推理速度较慢，反而加剧了这一挑战。为了解决这个问题，Meta AI 的研究人员提出了一种名为 AdaCache 的免训练方法来加速视频 DiTs。AdaCache 的核心思想是基于“并非所有视频都相同”这一事实，这意味着某些视频比其他视频需要更少的去噪步骤即可达到合理的质量。 基于此，该方