随着企业越来越多地应用大型语言模型（LLMs），如何提升模型的知识准确性并减少幻觉现象，成为了一项重要挑战。Meta AI 的研究人员在一篇新论文中提出了 “可扩展记忆层”，或许能够为这一问题提供解决方案。可扩展记忆层的核心思想是在不增加推理时计算资源的情况下，向 LLMs 中添加更多参数，从而提升其学习能力。这种架构适用于需要储存大量事实知识但又希望保持推理速度的应用场景。传统的语言模型使用 “密集层” 来编码大量信息。在密集层中，所有参数在推理时几乎都是

Meta 公司近日发布了一项突破性的研究成果，他们开发出一种新型的记忆层技术，可以显著提升大型语言模型（LLM）的事实准确性，并在参数规模上实现了前所未有的扩展。这项技术不仅挑战了传统神经网络的扩展方式，还为未来的 AI 架构设计提供了新的方向。这项研究的核心在于利用可训练的键值查找机制，为模型增加额外的参数，而无需增加计算量（FLOPs）。这种方法的核心思想是，通过稀疏激活的记忆层来补充计算密集的前馈层，从而提供专门的存储和检索信息的能力。与传统的稠