今日，腾讯在X平台上正式宣布推出其最新AI模型Hunyuan-TurboS，这款被誉为“首款超大型Hybrid-Transformer-Mamba MoE模型”的产品迅速引发全球科技圈的热议。根据X用户披露的信息，Hunyuan-TurboS通过融合Mamba的高效长序列处理能力和Transformer的强大上下文理解能力，成功克服了传统纯Transformer模型在长文本训练和推理上的瓶颈，展现出令人瞩目的性能突破。据介绍，传统Transformer模型因O（N²）复杂度和KV-Cache问题，在处理长文本时往往面临效率低下和高成本的挑战。而Hunyuan-TurboS巧妙结合了两大技术优
近年来，基于 Transformer 架构的大型语言模型（LLMs）取得了显著进展，诸如 Gemini-Pro1.5、Claude-3、GPT-4和 Llama-3.1等新模型能够处理成百上千的token。然而，这些扩展的上下文长度带来了实际应用中的一些重大挑战。随着序列长度的增加，解码延迟上升，内存限制也成为了一个严重的瓶颈。KV 缓存在推理过程中储存上下文信息，随着上下文长度的增加，缓存的大小也呈比例增长，这导致内存饱和，严重影响了处理长输入序列的效率，因此迫切需要优化解决方案。虽然市场上存在一些无训练的方
在计算机视觉领域，多视角3D 重建一直是一项重要且具挑战性的任务，尤其是在需要精确且可扩展的表示时。现有的主流方法，例如 DUSt3R，主要采用成对处理的方式，这种方法在进行多视角重建时需要复杂的全局对齐程序，既耗时又耗力。为了解决这一问题，研究团队提出了 Fast3R，这是一种创新的多视角重建技术，它可以在一次前向传播中处理多达1500张图片，大幅提升了重建速度。Fast3R 的核心是一个基于 Transformer 的架构，能够并行处理多张视图信息，从而省去迭代对齐的过程。这一新
在图像生成领域，多层图像生成技术正逐渐改变用户与生成模型的互动方式，允许用户隔离、选择并编辑特定的图像层。近日，微软研究人员推出了一种名为 “Anonymous Region Transformer”（ART）的新型技术，它能够根据全球文本提示和匿名区域布局，直接生成可变多层透明图像。ART 的设计灵感来源于 “图式理论”，通过采用匿名区域布局，使生成模型可以自主决定哪些视觉信息与哪些文本信息对齐。这一方法与以往的语义布局形成鲜明对比。传统的语义布局通常需要明确的对应关系，而 ART
