幻方量化于12月26日晚发布全新一代大模型DeepSeek-V3，展现出惊人的技术突破。这款采用MoE（混合专家）架构的模型不仅在性能上媲美顶级闭源模型，其低成本高效率的特点更是引发业界关注。从核心参数来看，DeepSeek-V3拥有6710亿参数，其中激活参数为370亿，在14.8万亿token的数据规模上完成预训练。相比前代产品，新模型的生成速度提升了3倍，每秒可处理60个token，显著提升了实际应用效率。在性能评测方面，DeepSeek-V3展现出卓越实力。它不仅超越了Qwen2.5-72B和Llama-3.1-405B等知名开源模型，更

备受期待的Deepseek V3终于开源!这款全新的AI模型在多语言编程能力上取得了重大突破，其在aider多语言编程测评中的表现，甚至超越了Claude3.5Sonnet V2等竞争对手，引发了业界广泛关注。据了解，Deepseek V3相比之前的版本，在性能上实现了质的飞跃。Deepseek V2.5在aider测评中的成功率仅为17%，而V3则暴增至48%，这充分展现了其强大的进步。Deepseek V3采用了高达6850亿参数的混合专家（MoE）架构。该架构包含256个专家，并使用sigmoid路由方式，每次选取前8个专家(topk=8)参与计算，这种设计使得模型能够

随着人工智能的快速发展，视觉与语言能力的整合引发了视觉语言模型（VLMs）的突破性进展。这些模型旨在同时处理和理解视觉与文本数据，广泛应用于图像描述、视觉问答、光学字符识别以及多模态内容分析等场景。VLMs 在开发自主系统、增强人机交互以及高效文档处理工具方面发挥了重要作用，成功地弥合了这两种数据模态之间的差距。然而，在高分辨率视觉数据和多样化文本输入的处理上，仍然存在许多挑战。目前的研究已经部分解决了这些限制，但大多数模型采用的静态视觉编码

快手科技在2024年第三季度的业绩公告中宣布，公司第三季度的营收达到311.3亿元人民币，同比增长11.4%，超出市场预期的310.3亿元。经调整净利润为39亿元，同比增长24.4%，显示出公司的强劲增长势头。在业绩电话会上，快手科技创始人兼首席执行官程一笑分享了公司在人工智能大模型领域的最新进展。

最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

艾伦人工智能研究所（AI2）发布了一款开源大型语言模型OLMoE，旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家（MoE）架构，拥有70亿参数，但通过智能路由机制，每个输入标记仅使用10亿参数，实现高效计算。OLMoE包含通用与指令调优两个版本，支持4096标记的上下文窗口。其训练数据来源广泛，包括Common Crawl、Dolma CC和维基百科等。在性能测试中，OLMoE在多项指标上优于其他相似参数模型，甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型，推动学术研究与开发，促进混合专家架构的广泛应用。