近年来，基于 Transformer 架构的大型语言模型（LLMs）取得了显著进展，诸如 Gemini-Pro1.5、Claude-3、GPT-4和 Llama-3.1等新模型能够处理成百上千的token。然而，这些扩展的上下文长度带来了实际应用中的一些重大挑战。随着序列长度的增加，解码延迟上升，内存限制也成为了一个严重的瓶颈。KV 缓存在推理过程中储存上下文信息，随着上下文长度的增加，缓存的大小也呈比例增长，这导致内存饱和，严重影响了处理长输入序列的效率，因此迫切需要优化解决方案。虽然市场上存在一些无训练的方

继 DeepSeek R1之后，阿里云通义千问团队刚刚宣布推出其最新的开源模型 Qwen2.5-1M，再次引发业界关注。此次发布的 Qwen2.5-1M 系列包含两个开源模型:Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M。这是通义千问首次推出能够原生支持百万Token上下文长度的模型，并在推理速度上实现了显著提升。Qwen2.5-1M 的核心亮点在于其原生支持百万 Token 的超长上下文处理能力。这使得模型能够轻松应对书籍、长篇报告、法律文件等超长文档，无需进行繁琐的分割处理。同时，该模型还支持更长时间、更深入的对话

谷歌研究院近日发布了革新性的"Titans"系列模型架构，通过仿生设计实现了突破性的200万Token上下文长度，并计划在未来开源相关技术。这一架构的核心创新在于引入深度神经长期记忆模块，其设计灵感来源于人类记忆系统。Titans巧妙地结合了短期记忆的快速响应能力和长期记忆的持久性特征，同时运用注意力机制来处理即时上下文，形成了一个高效的信息处理体系。据谷歌介绍，Titans在长序列处理任务中展现出显著优势。无论是在语言建模还是时间序列预测方面，这一架构都实现了突破性

IBM 正式发布了其新一代开源大语言模型 Granite3.1，力图在企业级 AI 领域占据领先地位。这一系列模型具备128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。IBM 声称，Granite8B Instruct 模型在相同规模的开源竞争对手中表现最佳，包括 Meta 的 Llama3.1、Qwen2.5和谷歌的 Gemma2。Granite3.1模型的发布是在 IBM 快速迭代 Granite 系列的背景下进行的，早在10月份就推出了 Granite3.0。IBM 透露，其与生成 AI 相关的业务收入已达到20亿美元。新版本的核心理念是将更多功能集成到更小的

["🚀 大模型公司竞相升级，专注处理“长文本”成为新趋势。","📈 文中强调上下文长度的挑战实际上与Transformer结构有关。","📚 长文本技术将为金融、司法、科研领域带来更深层次的应用。"]