在2024年12月19日的发布会上，智源研究院与腾讯宣布推出LongBench v2，这是一个专为评估大语言模型（LLMs）在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动长文本模型在理解和推理方面的进步，回应了当前长文本大语言模型在应用中的挑战。

阿里云百炼平台近日宣布上线了Qwen2.5-Turbo百万长文本模型，Qwen2.5-Turbo模型由通义千问团队开发，支持处理高达100万tokens的超长上下文，相当于100万个英文单词或150万个汉字。

近日，AI助手心流正式发布2.0版本，新增的「首页精选内容」和「发现」版块为用户提供了更加智能化、个性化的高质量内容服务。这些功能的推出彰显了人工智能平台在生活与工作中的实用价值，尤其是在解决用户困惑与需求方面的强大能力。随着大模型技术的不断成熟，心流通过AI原生内容（AINative）为用户提供了更加丰富多样的图文和问答形式的信息。新版本的「首页精选内容」涵盖了效率工具、饮食休闲、旅游兴趣、运动保健及家居健康等多个领域，旨在通过智能推荐算法，使得用

谷歌发布三款Gemini1.5系列实验性AI模型，包括小型变体Gemini1.5Flash-8B，体积虽小但性能出色，适合轻量级AI应用；更强大的Gemini1.5Pro模型在编码能力和复杂提示处理上显著提升，适合需要高级AI辅助的用户；Gemini1.5Flash模型性能优化，展现出色表现。这些新模型已开放在AI Studio平台供用户测试，谷歌提供平稳过渡期，确保用户体验顺畅。这次升级不仅展示了谷歌在AI领域的技术实力，也为开发者和用户提供了更多可能性，推动了AI应用的创新。

清华大学的研究团队成功研发出“LongWriter”人工智能系统，该系统能生成超过10,000字的连贯文本，为长篇写作和内容创作开辟了新途径。通过构建包含6,000个写作样本的“LongWriter-6k”数据集，研究团队将AI模型的最大输出长度从约2,000字提升至10,000字以上。这一创新成果不仅提高了AI在长文本生成任务中的表现，甚至超过了更大规模的专有模型。AI生成的文本在出版、营销、教育等领域具有广泛应用前景，但同时也带来了虚假信息、竞争加剧和知识产权保护等挑战。研究团队已将代码和模型开源，供开发者二次开发，并发布演示视频展示了生成详细结构内容的能力。随着技术的不断进步，如何合理利用AI生成文本与人类创作的关系成为未来需要面对的挑战。

智谱AI宣布，支持超长上下文长度的LLM GLM-4-Long已经在开放平台bigmodel.cn上线。该模型专为处理超长文本而设计，能够一次性阅读相当于两本《红楼梦》或125篇论文的文本量，广泛应用于翻译长篇文档、全局分析财报、提取关键信息以及构建具有超长记忆的聊天机器人等场景。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。

长语境理解是自然语言处理领域的关键挑战，尤其是在大型语言模型（LLMs）处理超出其上下文窗口大小的文本时。为解决这一问题，研究人员开发了LooGLE基准测试，旨在评估LLMs在处理超长文档（平均19.3k单词，共776篇，覆盖多领域）时的长语境理解能力。LooGLE包含7个任务，涵盖短依赖和长依赖，评估模型对不同长度文本的理解。测试数据来源于2022年后的开源文档，确保LLMs未在预训练中接触，以此更准确评估其语境学习能力。研究发现，商业模型在性能上领先于开源模型，LLMs在短依赖任务上表现良好，但在长依赖任务上存在挑战。基于检索的技术在短问题回答中表现突出，而扩展上下文窗口的策略对长语境理解的提升有限。LooGLE提供了评估LLMs长语境理解能力的系统方案，并在GitHub上公开了评估代码，为未来模型开发提供指导。

​北京月之暗面科技有限公司（Moonshot AI）宣布 Kimi 企业级 API 正式发布。这些API提供企业级的模型推理能力，确保程序拥有领先的稳定体验，同时提供更高等级的数据安全保障和并发速率。此外，Kimi还提供专属的技术支持服务，并为用户带来下一代模型和新能力的优先体验机会。

OpenAI新模型gpt-4o-64k-output-alpha的最大亮点是能一次性输出64K长度的token，适合生成丰富、详尽的内容，满足写作、编程及复杂数据分析的需求。然而，这一功能提高了API价格，每百万输出token费用为18美元，相比之下，输入每百万token仅需6美元。此举旨在与高计算成本相匹配，并鼓励合理使用此强大工具。该模型为创作和研究领域提供了新的可能性，推动了更深入的交流与创新。

Nvidia AI推出的ChatQA2模型，针对人工智能发展中长文本上下文理解和检索增强生成的关键挑战，基于Llama3模型进行优化。通过将上下文窗口扩展至128K tokens并采用三阶段指令调整过程，模型显著提升了指令遵循能力、RAG性能和长文本理解能力。在InfiniteBench评估中，ChatQA2展现出与GPT-4-Turbo-2024-0409相媲美的准确性，并在RAG基准测试中超越之，解决了长文本处理中的上下文碎片化和低召回率问题。该模型通过使用先进检索器提高检索准确性和效率，实现了与GPT-4-Turbo相当的性能，为各种下游任务提供了灵活解决方案。

苹果与Meta AI联袂推出新技术"LazyLLM"，旨在提升大型语言模型在长文本推理效率。现代变换器架构在处理长提示时面临速度慢问题，尤其线性增长的计算复杂度。针对此，LazyLLM采用动态选择重要token的策略，减速算量，同时保持模型准确性。其高效机制包括对之前层注意力分数的评估，动态削减计算成本，动态恢复被剪枝的token，并借助Aux Cache机制存储隐含状态以提升恢复效率。LazyLLM技术与任何基于变换器的模型兼容，实施过程无需模型重新训练，适用于多种语言任务，显著提升推理速度，TTFT速度最多提升4.77倍，且准确率几乎与原版持平。此突破性技术在问答、摘要生成及代码补全等任务中实现了高效快速的处理，采纳动态剪枝与逐层分析策略，其优势明显。请您阅读全文获取详情：https://arxiv.org/abs/2407.14057

讯飞星火发布的Spark Pro-128K大型模型具备处理超长文本的卓越能力，显著提升AI在金融、医疗、科研等领域的应用价值。此模型，API面向开发者开放，低廉的价格（0.21元/万tokens）及丰富功能使得其可用性更高。Spark Pro-128K不仅拥有超长文本处理及内容溯源功能（能呈现答案来源）, 支持中英文直接理解分析，还提供包括超大模型Ultra、Lite、Pro、Max以及定制化API（如智能PPT生成、角色扮演、图片生成、图片理解）以满足不同企业的个性化需求。为了鼓励用户体验，开发者可以通过实名认证免费领取500万tokens。

"心流"的官网展示了这款产品的多项功能。在学术研究领域，阅读和分析长篇论文是一项基础而关键的工作。为此，"心流"构建了一个包含千亿级知识点的专业知识图谱，能够从海量信息中进行深度学习，并通过图谱进行知识推理，以高效解答用户的各种复杂问题。

上海人工智能实验室与商汤科技，联合香港中文与复旦大学，于七月三日共同发布了名为“书生·浦语2.5”的新型大语言模型。该模型的7B版本已开源，其它尺寸的版本也将相继提供。上海 AI 实验室向开发者提供免费商用许可，用以支持高质量开源模型的研发和创新。近期的模型更新显著提高了推理能力，尤其在数学评测集 MATH 上超过了 Llama3-70B 模型，准确率达到了 60%，与 GPT-4Turbo1106 相当。模型还展现了对长文本的支持，可处理高达100万汉字的信息，通过增加上下文长度和利用合成数据来优化内容理解和智能交互。此外，该模型还具搜索与整合网络信息的能力，可通过MindSearch多智能体框架实现。

昨日，月之暗面旗下Kimi 开放平台宣布，上下文缓存（Context Caching）开始公测，该技术在 API 价格不变的前提下，可为开发者降低最高90% 的长文本旗舰大模型使用成本，并且显著提升模型的响应速度。

["百度计划免费开放长文本能力，文字范围在 200 万 - 500 万之间。","版本升级后，百度文心一言将提供更广泛的文本处理能力。","这一举措将于下个月正式实施，对用户具有重要意义。","百度的长文本能力开放将极大提升用户文本处理效率和便利性。"]

["360 智脑内测 500 万字长文本处理功能","功能将整合进 360AI 浏览器","提供多种文档类型处理支持","用户将在移动端享受便捷的文本处理服务"]

["🚀 大模型公司竞相升级，专注处理“长文本”成为新趋势。","📈 文中强调上下文长度的挑战实际上与Transformer结构有关。","📚 长文本技术将为金融、司法、科研领域带来更深层次的应用。"]

["Meta发布Llama2-Long模型，处理长文本时不增加计算需求，仍保持卓越性能。","模型采用持续预训练、位置编码改进和数据混合策略，减少计算开销最多可达40%。","在长短任务上表现出色，超越其他长上下文模型，具有潜力革新自然语言处理领域。","模型在编码、数学和知识密集型任务上明显改进，甚至超越了GPT-3.5。","Llama2-Long模型的发布为处理长文本提供了强大的解决方案，注入新的活力到自然语言处理领域。"]