苹果与Meta AI联袂推出新技术"LazyLLM"，旨在提升大型语言模型在长文本推理效率。现代变换器架构在处理长提示时面临速度慢问题，尤其线性增长的计算复杂度。针对此，LazyLLM采用动态选择重要token的策略，减速算量，同时保持模型准确性。其高效机制包括对之前层注意力分数的评估，动态削减计算成本，动态恢复被剪枝的token，并借助Aux Cache机制存储隐含状态以提升恢复效率。LazyLLM技术与任何基于变换器的模型兼容，实施过程无需模型重新训练，适用于多种语言任务，显著提升推理速度，TTFT速度最多提升4.77倍，且准确率几乎与原版持平。此突破性技术在问答、摘要生成及代码补全等任务中实现了高效快速的处理，采纳动态剪枝与逐层分析策略，其优势明显。请您阅读全文获取详情：https://arxiv.org/abs/2407.14057