阿里云百炼平台近日宣布上线了Qwen2.5-Turbo百万长文本模型，Qwen2.5-Turbo模型由通义千问团队开发，支持处理高达100万tokens的超长上下文，相当于100万个英文单词或150万个汉字。

近日，AI助手心流正式发布2.0版本，新增的「首页精选内容」和「发现」版块为用户提供了更加智能化、个性化的高质量内容服务。这些功能的推出彰显了人工智能平台在生活与工作中的实用价值，尤其是在解决用户困惑与需求方面的强大能力。随着大模型技术的不断成熟，心流通过AI原生内容（AINative）为用户提供了更加丰富多样的图文和问答形式的信息。新版本的「首页精选内容」涵盖了效率工具、饮食休闲、旅游兴趣、运动保健及家居健康等多个领域，旨在通过智能推荐算法，使得用

谷歌发布三款Gemini1.5系列实验性AI模型，包括小型变体Gemini1.5Flash-8B，体积虽小但性能出色，适合轻量级AI应用；更强大的Gemini1.5Pro模型在编码能力和复杂提示处理上显著提升，适合需要高级AI辅助的用户；Gemini1.5Flash模型性能优化，展现出色表现。这些新模型已开放在AI Studio平台供用户测试，谷歌提供平稳过渡期，确保用户体验顺畅。这次升级不仅展示了谷歌在AI领域的技术实力，也为开发者和用户提供了更多可能性，推动了AI应用的创新。

清华大学的研究团队成功研发出“LongWriter”人工智能系统，该系统能生成超过10,000字的连贯文本，为长篇写作和内容创作开辟了新途径。通过构建包含6,000个写作样本的“LongWriter-6k”数据集，研究团队将AI模型的最大输出长度从约2,000字提升至10,000字以上。这一创新成果不仅提高了AI在长文本生成任务中的表现，甚至超过了更大规模的专有模型。AI生成的文本在出版、营销、教育等领域具有广泛应用前景，但同时也带来了虚假信息、竞争加剧和知识产权保护等挑战。研究团队已将代码和模型开源，供开发者二次开发，并发布演示视频展示了生成详细结构内容的能力。随着技术的不断进步，如何合理利用AI生成文本与人类创作的关系成为未来需要面对的挑战。

智谱AI宣布，支持超长上下文长度的LLM GLM-4-Long已经在开放平台bigmodel.cn上线。该模型专为处理超长文本而设计，能够一次性阅读相当于两本《红楼梦》或125篇论文的文本量，广泛应用于翻译长篇文档、全局分析财报、提取关键信息以及构建具有超长记忆的聊天机器人等场景。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。

长语境理解是自然语言处理领域的关键挑战，尤其是在大型语言模型（LLMs）处理超出其上下文窗口大小的文本时。为解决这一问题，研究人员开发了LooGLE基准测试，旨在评估LLMs在处理超长文档（平均19.3k单词，共776篇，覆盖多领域）时的长语境理解能力。LooGLE包含7个任务，涵盖短依赖和长依赖，评估模型对不同长度文本的理解。测试数据来源于2022年后的开源文档，确保LLMs未在预训练中接触，以此更准确评估其语境学习能力。研究发现，商业模型在性能上领先于开源模型，LLMs在短依赖任务上表现良好，但在长依赖任务上存在挑战。基于检索的技术在短问题回答中表现突出，而扩展上下文窗口的策略对长语境理解的提升有限。LooGLE提供了评估LLMs长语境理解能力的系统方案，并在GitHub上公开了评估代码，为未来模型开发提供指导。

​北京月之暗面科技有限公司（Moonshot AI）宣布 Kimi 企业级 API 正式发布。这些API提供企业级的模型推理能力，确保程序拥有领先的稳定体验，同时提供更高等级的数据安全保障和并发速率。此外，Kimi还提供专属的技术支持服务，并为用户带来下一代模型和新能力的优先体验机会。

OpenAI新模型gpt-4o-64k-output-alpha的最大亮点是能一次性输出64K长度的token，适合生成丰富、详尽的内容，满足写作、编程及复杂数据分析的需求。然而，这一功能提高了API价格，每百万输出token费用为18美元，相比之下，输入每百万token仅需6美元。此举旨在与高计算成本相匹配，并鼓励合理使用此强大工具。该模型为创作和研究领域提供了新的可能性，推动了更深入的交流与创新。

Nvidia AI推出的ChatQA2模型，针对人工智能发展中长文本上下文理解和检索增强生成的关键挑战，基于Llama3模型进行优化。通过将上下文窗口扩展至128K tokens并采用三阶段指令调整过程，模型显著提升了指令遵循能力、RAG性能和长文本理解能力。在InfiniteBench评估中，ChatQA2展现出与GPT-4-Turbo-2024-0409相媲美的准确性，并在RAG基准测试中超越之，解决了长文本处理中的上下文碎片化和低召回率问题。该模型通过使用先进检索器提高检索准确性和效率，实现了与GPT-4-Turbo相当的性能，为各种下游任务提供了灵活解决方案。

苹果与Meta AI联袂推出新技术"LazyLLM"，旨在提升大型语言模型在长文本推理效率。现代变换器架构在处理长提示时面临速度慢问题，尤其线性增长的计算复杂度。针对此，LazyLLM采用动态选择重要token的策略，减速算量，同时保持模型准确性。其高效机制包括对之前层注意力分数的评估，动态削减计算成本，动态恢复被剪枝的token，并借助Aux Cache机制存储隐含状态以提升恢复效率。LazyLLM技术与任何基于变换器的模型兼容，实施过程无需模型重新训练，适用于多种语言任务，显著提升推理速度，TTFT速度最多提升4.77倍，且准确率几乎与原版持平。此突破性技术在问答、摘要生成及代码补全等任务中实现了高效快速的处理，采纳动态剪枝与逐层分析策略，其优势明显。请您阅读全文获取详情：https://arxiv.org/abs/2407.14057

讯飞星火发布的Spark Pro-128K大型模型具备处理超长文本的卓越能力，显著提升AI在金融、医疗、科研等领域的应用价值。此模型，API面向开发者开放，低廉的价格（0.21元/万tokens）及丰富功能使得其可用性更高。Spark Pro-128K不仅拥有超长文本处理及内容溯源功能（能呈现答案来源）, 支持中英文直接理解分析，还提供包括超大模型Ultra、Lite、Pro、Max以及定制化API（如智能PPT生成、角色扮演、图片生成、图片理解）以满足不同企业的个性化需求。为了鼓励用户体验，开发者可以通过实名认证免费领取500万tokens。

"心流"的官网展示了这款产品的多项功能。在学术研究领域，阅读和分析长篇论文是一项基础而关键的工作。为此，"心流"构建了一个包含千亿级知识点的专业知识图谱，能够从海量信息中进行深度学习，并通过图谱进行知识推理，以高效解答用户的各种复杂问题。

上海人工智能实验室与商汤科技，联合香港中文与复旦大学，于七月三日共同发布了名为“书生·浦语2.5”的新型大语言模型。该模型的7B版本已开源，其它尺寸的版本也将相继提供。上海 AI 实验室向开发者提供免费商用许可，用以支持高质量开源模型的研发和创新。近期的模型更新显著提高了推理能力，尤其在数学评测集 MATH 上超过了 Llama3-70B 模型，准确率达到了 60%，与 GPT-4Turbo1106 相当。模型还展现了对长文本的支持，可处理高达100万汉字的信息，通过增加上下文长度和利用合成数据来优化内容理解和智能交互。此外，该模型还具搜索与整合网络信息的能力，可通过MindSearch多智能体框架实现。

昨日，月之暗面旗下Kimi 开放平台宣布，上下文缓存（Context Caching）开始公测，该技术在 API 价格不变的前提下，可为开发者降低最高90% 的长文本旗舰大模型使用成本，并且显著提升模型的响应速度。

["百度计划免费开放长文本能力，文字范围在 200 万 - 500 万之间。","版本升级后，百度文心一言将提供更广泛的文本处理能力。","这一举措将于下个月正式实施，对用户具有重要意义。","百度的长文本能力开放将极大提升用户文本处理效率和便利性。"]

["360 智脑内测 500 万字长文本处理功能","功能将整合进 360AI 浏览器","提供多种文档类型处理支持","用户将在移动端享受便捷的文本处理服务"]

["🚀 大模型公司竞相升级，专注处理“长文本”成为新趋势。","📈 文中强调上下文长度的挑战实际上与Transformer结构有关。","📚 长文本技术将为金融、司法、科研领域带来更深层次的应用。"]

["Meta发布Llama2-Long模型，处理长文本时不增加计算需求，仍保持卓越性能。","模型采用持续预训练、位置编码改进和数据混合策略，减少计算开销最多可达40%。","在长短任务上表现出色，超越其他长上下文模型，具有潜力革新自然语言处理领域。","模型在编码、数学和知识密集型任务上明显改进，甚至超越了GPT-3.5。","Llama2-Long模型的发布为处理长文本提供了强大的解决方案，注入新的活力到自然语言处理领域。"]

["月之暗面创始人杨植麟是清华大学交叉信息学院教授,XLNet等论文第一作者。","杨植麟创立的Moonshot AI完成首轮近20亿元融资,投资方包括红杉资本等。","Moonshot AI推出首个支持输入20万汉字的大模型产品Kimi Chat。","Moonshot AI通过算法创新,实现了大模型在长文本场景下的落地应用。","Moonshot AI表示会继续加大技术研发投入,推动大模型进入L(Long)LLM时代。"]