Meta 公司近日发布了一项突破性的研究成果，他们开发出一种新型的记忆层技术，可以显著提升大型语言模型（LLM）的事实准确性，并在参数规模上实现了前所未有的扩展。这项技术不仅挑战了传统神经网络的扩展方式，还为未来的 AI 架构设计提供了新的方向。这项研究的核心在于利用可训练的键值查找机制，为模型增加额外的参数，而无需增加计算量（FLOPs）。这种方法的核心思想是，通过稀疏激活的记忆层来补充计算密集的前馈层，从而提供专门的存储和检索信息的能力。与传统的稠

文心快码，百度AI产品，自2023年4月加入百度后，仅一年半即晋升为AI架构师，成为互联网行业首位AI架构师。作为智能代码助手，基于文心大模型，文心快码大幅提升了研发效率，代码采纳率高达44%，每天能辅助生成全公司33%的代码。其三大技能包括深入了解业务场景、提供代码质量保障和智能Debug，显著提高了产品质量和开发者的解决问题能力。文心快码已成功入驻多家公司，涉及科技、汽车、保险等领域，展现出其在提升企业研发效率和产品质量方面的卓越能力。