大型语言模型（LLM）如GPT系列，凭借庞大的数据集，在语言理解、推理和规划方面展现出惊人的能力，在各种挑战性任务中已达到与人类相当的水平。大多数研究都集中在通过在更大的数据集上训练这些模型来进一步增强它们，目标是开发更强大的基础模型。
然而，虽然训练更强大的基础模型至关重要，但研究人员认为，赋予模型在推理阶段也能持续进化的能力，即AI自我进化，对AI的发展同样至关重要。与使用大规模数据训练模型相比，自我进化可能只需要有限的数据或交互。
受人类大脑皮层柱状结构的启发，研究人员假设AI模型可以通过与其环境的迭代交互，发展出涌现的认知能力并构建内部表征模型。
为实现这一目标，研究人员提出模型必须具备长期记忆（LTM），用于存储和管理处理后的现实世界交互数据。LTM不仅能够在统计模型中表示长尾个体数据，还能通过支持跨越各种环境和代理的不同体验来促进自我进化。
LTM是实现AI自我进化的关键。 类似于人类通过个人经历和与环境的互动不断学习和改进，AI模型的自我进化也依赖于在交互过程中积累的LTM数据。不同于人类的进化，LTM驱动的模型进化不局限于现实世界的交互。模型可以像人类一样与物理环境交互并接收直接反馈，这些反馈经过处理后将增强其能力，这也是具身AI的一个关键研究领域。
另一方面，模型也可以在虚拟环境中进行交互并积累LTM数据，与现实世界交互相比，这具有更低的成本和更高的效率，从而更有效地增强能力。
构建LTM需要将原始数据进行提炼和结构化。 原始数据是指模型通过与外部环境的交互或在训练过程中接收到的所有未处理数据的集合。 这些数据包含各种观察结果和记录，其中可能包含有价值的模式和大量冗余或不相关的信息。
虽然原始数据构成了模型记忆和认知的基础，但需要对其进行进一步处理才能有效地用于个性化或高效地执行任务。 LTM将这些原始数据提炼和结构化，使模型可以使用它们。这一过程增强了模型提供个性化响应和建议的能力。
构建LTM面临着数据稀疏性和用户多样性等挑战。 在持续更新的LTM系统中，数据稀疏性是一个常见问题，特别是对于交互历史有限或活动零散的用户而言，这使得模型训练变得困难。 此外，用户多样性也增加了复杂性，要求模型既要适应个体模式，又要有效地跨越不同的用户群体进行泛化。
研究人员开发了一个名为Omne的多代理协作框架，该框架基于LTM实现了AI自我进化。 在这个框架中，每个代理都有一个独立的系统结构，可以自主学习和存储一个完整的环境模型，从而构建对环境的独立理解。 通过这种基于LTM的协作开发，AI系统可以实时适应个体行为的变化，优化任务规划和执行，进一步促进个性化和高效的AI自我进化。
Omne框架在GAIA基准测试中取得了第一名的成绩，证明了利用LTM进行AI自我进化和解决现实世界问题的巨大潜力。 研究人员相信，推进LTM的研究对于AI技术的持续发展和实际应用至关重要，尤其是在自我进化方面。
总而言之，长期记忆是AI自我进化的关键，它使AI模型能够像人类一样从经验中学习和改进。 构建和利用LTM需要克服数据稀疏性和用户多样性等挑战。 Omne框架为基于LTM的AI自我进化提供了一个可行的方案，其在GAIA基准测试中的成功表明了该领域的巨大潜力。
论文：https://arxiv.org/pdf/2410.15665
