最近，超长上下文窗口的大型语言模型（LLMs）成为了人们讨论的热点。这些模型能够在一个提示中处理数十万甚至上百万个标记，为开发者开启了许多新的可能性。不过，这些长上下文 LLM 到底能多好地理解和利用所接收到的大信息呢?为了解决这个问题，谷歌 DeepMind 的研究人员推出了名为 Michelangelo 的新基准，旨在评估长上下文推能力。研究结果表明，尽管当前的顶尖模型在从大量上下文数据中提取信息方面取得了一定进展，但在需要推理和理解数据结构的任务上仍然存在困难。随着长上

北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合发布了一款创新的人工智能模型框架——MemoRAG。该框架基于长期记忆，旨在推动检索增强生成（RAG）技术的发展，使其能够处理更复杂的任务，而不仅限于简单的问答。

智谱AI宣布，支持超长上下文长度的LLM GLM-4-Long已经在开放平台bigmodel.cn上线。该模型专为处理超长文本而设计，能够一次性阅读相当于两本《红楼梦》或125篇论文的文本量，广泛应用于翻译长篇文档、全局分析财报、提取关键信息以及构建具有超长记忆的聊天机器人等场景。

书生·浦语灵笔(InternLM-XComposer)2.5版本由上海人工智能实验室研发，主打长上下文输入输出能力，能在96K长度中流畅运作，通过24K交错图像-文本数据训练。其升级点包括：高分辨率图像理解、细粒度视频理解、多轮多图对话。应用上，可制作网页、撰写高质量图文文章。评估显示，在16个基准测试中超越开源最先进模型，在关键任务中与GPT-4V、Gemini Pro表现接近或超越，展现强大性能和广泛应用潜力。