搜索全球AI产品动态

在2025全球开发者先锋大会上，商汤科技宣布推出开源低代码平台 LazyLLM，旨在降低 AI 应用开发的门槛。开发者们现在只需约10行代码，就能轻松构建复杂的多 Agent 大模型应用。LazyLLM 不仅能帮助用户快速开发 AI 应用，还能通过简单的操作让开发过程变得轻松愉快，犹如搭积木一般。LazyLLM 的命名来源于 “懒惰”，体现了商汤科技希望用户无需具备深厚的编程技能，便能快速实现复杂应用的愿景。LazyLLM 的核心亮点在于其数据流为核心的应用开发范式，支持多种拼接方式，能够不断提升数据

苹果与Meta AI联袂推出新技术"LazyLLM"，旨在提升大型语言模型在长文本推理效率。现代变换器架构在处理长提示时面临速度慢问题，尤其线性增长的计算复杂度。针对此，LazyLLM采用动态选择重要token的策略，减速算量，同时保持模型准确性。其高效机制包括对之前层注意力分数的评估，动态削减计算成本，动态恢复被剪枝的token，并借助Aux Cache机制存储隐含状态以提升恢复效率。LazyLLM技术与任何基于变换器的模型兼容，实施过程无需模型重新训练，适用于多种语言任务，显著提升推理速度，TTFT速度最多提升4.77倍，且准确率几乎与原版持平。此突破性技术在问答、摘要生成及代码补全等任务中实现了高效快速的处理，采纳动态剪枝与逐层分析策略，其优势明显。请您阅读全文获取详情：https://arxiv.org/abs/2407.14057