压缩模型文本提示，极大节省 AI 算力

微软开源了 LongLLMLingua，这是一种可以压缩模型文本提示的技术。通过使用 LongLLMLingua，可以将文本提示压缩最高 20 倍，从而极大地节省 AI 算力成本。实验结果显示，经过压缩的提示不仅提升了模型的性能，还降低了延迟。这项技术在长文本场景中具有广泛的应用前景。