近年来，大型语言模型（LLMs）在自然语言处理(NLP)领域取得了显著进展，广泛应用于文本生成、摘要和问答等场景。然而，这些模型依赖于逐字预测的 token 级处理方法，这种方式在理解上下文时存在困难，且往往产生不一致的输出。此外，将 LLMs 扩展到多语言和多模态应用时，计算成本和数据需求也相对较高。为了解决这些问题，Meta AI 提出了一种全新的方法 —— 大概念模型(LCMs)。大概念模型（LCMs）代表了传统 LLM 架构的一次重要转变。它们引入了两个重大创新:首先，LCMs 在一个高维嵌