微软开源了 LongLLMLingua,这是一种可以压缩模型文本提示的技术。通过使用 LongLLMLingua,可以将文本提示压缩最高 20 倍,从而极大地节省 AI 算力成本。实验结果显示,经过压缩的提示不仅提升了模型的性能,还降低了延迟。这项技术在长文本场景中具有广泛的应用前景。