搜索全球AI产品动态

最近，通义实验室和北京大学的研究团队推出了一项名为 ZeroSearch 的创新框架，这一新技术可以在不需要真实搜索的情况下，激活大语言模型的检索能力，并且训练成本降低了惊人的88%。这一突破为大语言模型的训练和应用提供了全新的思路。传统的训练方法通常依赖于真实的搜索引擎来获取信息，这不仅造成了高昂的 API 调用成本，还可能因搜索结果的质量不稳定而影响模型的表现。ZeroSearch 巧妙地通过引入大语言模型作为 “模拟搜索引擎”，利用其在预训练过程中积累的丰富知识来生

近日，一款名为 Direct3D-S2的全新3D 生成框架引发了业界热议。该框架通过创新的 空间稀疏注意力（SSA）机制，显著提升了高分辨率3D 图像生成的质量与效率，为千兆级3D 生成提供了更具可扩展性的解决方案。AIbase 综合整理最新信息，带您深入了解 Direct3D-S2的技术突破与应用前景。空间稀疏注意力:效率与质量的双重飞跃Direct3D-S2的核心创新在于其 空间稀疏注意力（SSA）机制，专为处理稀疏体视数据设计。该机制通过优化扩散变换器(DiT)的计算方式，显著降低了训练和推理的资源需求。据悉

在多模态人工智能（AI）领域，苹果公司的工程师们与法国索邦大学的研究团队合作，展开了一项重要研究。近日，科技媒体 marktechpost 发布了相关博文，探讨了早期融合与后期融合模型在多模态 AI 中的应用与前景。研究表明，从头训练的早期融合模型在计算效率和可扩展性上更具优势。多模态 AI 的目标是同时处理图像、文本等多种数据类型，然而，整合这些不同来源的数据一直是一个难题。目前的技术普遍采用后期融合（late-fusion）策略，即将预训练的单模态模型(如视觉和语言模型)组合

在人工智能领域，DeepSeek 团队于近日发布了最新研究成果，推出了一种名为 NSA（Native Sparse Attention）的创新稀疏注意力机制。这项技术的核心目标是提升长上下文训练和推理的速度，特别是针对现代硬件进行了优化，使得训练和推理的效率大幅提升。NSA 技术的推出，为人工智能模型的训练带来了显著的变化。首先，它通过一系列针对现代计算硬件特性的设计优化，显著提升了推理速度，并有效降低了预训练的成本。更重要的是，在提升速度和降低成本的同时，NSA 仍然保持了高水平的模型

字节跳动正式推出其最新的豆包大模型1.5Pro（Doubao-1.5-pro），这一新模型在多个领域的综合能力上表现出色，成功超越了行业内知名的 GPT-4o 和 Claude3.5Sonnet。该模型的发布标志着字节跳动在人工智能领域又向前迈出了重要一步。豆包1.5Pro 采用了新型的稀疏 MoE（混合专家）架构，使用较小的激活参数进行预训练。这种设计的创新之处在于其可以提供等效于7倍激活参数的 Dense 模型性能，使其在效率上远超行业常规的 MoE 架构，带来了约3倍的效率提升。这样的设计使得豆包大模型在知识、代码

Meta 公司近日发布了一项突破性的研究成果，他们开发出一种新型的记忆层技术，可以显著提升大型语言模型（LLM）的事实准确性，并在参数规模上实现了前所未有的扩展。这项技术不仅挑战了传统神经网络的扩展方式，还为未来的 AI 架构设计提供了新的方向。这项研究的核心在于利用可训练的键值查找机制，为模型增加额外的参数，而无需增加计算量（FLOPs）。这种方法的核心思想是，通过稀疏激活的记忆层来补充计算密集的前馈层，从而提供专门的存储和检索信息的能力。与传统的稠

AI 竟然开始“长脑子”了?!麻省理工学院的最新研究表明，大型语言模型（LLM）的内部结构，竟然和人脑有着惊人的相似之处!这项研究利用稀疏自编码器技术，对LLM的激活空间进行了深入分析，发现了三个层级的结构特征，令人惊叹:首先，在微观层面上，研究人员发现了类似“晶体”结构的存在。这些“晶体”的面是由平行四边形或梯形构成，类似于我们熟知的词汇类比，例如“男人:女人::国王:女王”。更令人惊讶的是，通过线性判别分析技术去除一些无关的干扰因素（如词语长度）后

研究团队最近带来了一个令人兴奋的新方法，叫做 T-FREE，让大型语言模型的运作效率直线上升。来自 Aleph Alpha、达姆施塔特工业大学、hessian.AI 和德国人工智能研究中心（DFKI）的科学家们联合推出了这个令人惊叹的技术，它的全名是 “无需标记器的稀疏表示，可实现内存高效嵌入”。传统上，我们使用标记器将文本转化为计算机能理解的数字形式，但 T-FREE 选择了一条不同的路。它利用字符三元组，也就是我们称之为 “三元组” 的东西，通过稀疏激活的方式直接将单词嵌入模型中。这一

​深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。

艾伦人工智能研究所（AI2）发布了一款开源大型语言模型OLMoE，旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家（MoE）架构，拥有70亿参数，但通过智能路由机制，每个输入标记仅使用10亿参数，实现高效计算。OLMoE包含通用与指令调优两个版本，支持4096标记的上下文窗口。其训练数据来源广泛，包括Common Crawl、Dolma CC和维基百科等。在性能测试中，OLMoE在多项指标上优于其他相似参数模型，甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型，推动学术研究与开发，促进混合专家架构的广泛应用。

大型语言模型（LLMs）因出色的自然语言处理能力而闻名，但在实践中，它们的推理阶段面临高计算成本和内存占用的挑战。为了提高LLMs效率，研究人员引入了一项名为 Q-Sparse 的技术。Q-Sparse 方法通过在激活中应用 top-K 稀疏化和直通估计器，实现了完全稀疏激活的状态压缩，显著提升推理效率。研究发现，Q-Sparse 能在保持结果与 baseline LLMs相当的条件下，提高推理效率。这种方法适用于全精度和 1 位（如 BitNet b1.58）LLMs。 稀疏激活通过减少矩阵乘法和输入/输出传输量来提高效率。Q-Sparse 在每个线性投影中实现全激活稀疏化，通过 top-K 稀疏化函数实现与反向传播中梯度计算的直通估计器相结合，进一步提高了激活稀疏性。采用平方 ReLU 函数提高激活稀疏性。 实验结果揭示，随着模型大小和稀疏比率的增加，稀疏激活模型的性能提高，这也适用于从头开始训练、已有的 LLMs 继续训练和微调。Q-Sparse 还被应用于包括 BitNet b1.58 和混合专家（MoE）在内的 LLMs，并探索兼容批量模式的优化以增加训练和推理的灵活性。

ChatGPT的Mac客户端已经正式发布，为macOS用户带来了一系列便捷的新功能。用户现在可以通过Option + Space快捷键迅速激活ChatGPT，与AI进行交流，无论是讨论电子邮件、屏幕截图还是屏幕上显示的任何内容。