在2022年全球生成式 AI 浪潮的背景下，元始智能（RWKV）于2023年12月完成数千万人民币的天使轮融资，由天际资本投资。此次融资后，公司估值翻倍，资金将用于团队扩展、新架构研发及产品商业化。RWKV 的出现，是对传统 Transformer 架构的一次有力挑战。随着大语言模型（LLM）的发展，虽然模型的参数规模日益庞大，但其在幻觉和准确率等问题上的短板始终难以解决。因此，RWKV 的创始团队决定探索一种全新的架构，以期实现更高的效率和灵活性。RWKV 的设计理念与 Transformer 截然不同。联合

Meta AI发布的Llama3.1模型在性能上与顶级闭源模型并驾齐驱，标志着开源AI重大突破。这是新一代大型语言模型，经过优化的训练栈和大规模GPU计算资源支持，实现多项技术亮点。包括上下文长度扩展至128K，支持8种语言，以及在多个测试领域展现卓越能力。通过迭代的post-training流程，模型不断提高性能，特别是在遵循指令、一致性、多语言翻译上表现出色。Llama3.1在15万亿token上进行的训练是业界首次，采用标准仅解码器的Transformer架构并进行了改进。Meta强调开源AI的开放性、可修改性和成本效率，它将推动AI技术的普及和发展。与多家公司合作发展生态系统，Llama3.1的发布预示开源AI可能成为行业标准，为AI的广泛应用辟新径。

Google DeepMind发布了一项引领性的研究，中心围绕其提出的百万级专家模型——Mixture，该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索，实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制，通过乘积密钥技术分离计算成本与参数计数，PEER架构在语言模型任务中展现出卓越性能，优于密集式FFW，粗粒度MoE和PKM层。实证结果显示，通过调整专家数量与活跃专家数量，Mixture模型性能显著提升，特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力，对于AIGC领域具有重要影响。

在人工智能发展日新月异的今天，一家名为Etched的公司正在押上一切，赌注于一种被称为Transformer的AI架构。该公司近日宣布推出全球首款专为Transformer设计的专用集成电路（ASIC）芯片——Sohu，声称其性能远超目前市面上的任何GPU，将为AI领域带来革命性变革。