最近，佐治亚理工学院和英伟达的两位华人学者提出了一种名为RankRAG的新型微调框架，这个框架极大简化了原本复杂的RAG流水线，使用微调方法让同一个LLM完成检索、排名和生成任务，结果还实现了性能的大幅提升。
RAG（Retrieval-Augmented Generation）是LLM部署中常用的技术，特别适合需要大量事实知识的文本生成任务。通常，RAG的流程是:基于文本编码的稠密模型从外部数据库中检索top-k文本段，然后LLM进行读取和生成。这个流程已经被广泛使用，但也有局限，比如k值选择。如果k值太大，即使是支持长上下文的LLM也难以快速处理;如果k值太小，又需要高召回率的检索机制，而现有的检索器和排名模型各有不足。
基于上述问题，RankRAG框架提出了新思路:通过微调扩展LLM能力，让LLM自己完成检索和排名。实验结果表明，这种方法不仅提高了数据效率，还显著增强了模型性能。特别是在多个通用基准和生物医学知识密集型基准上，RankRAG微调出的Llama38B/70B模型，分别超过了ChatQA-1.58B和ChatQA-1.570B模型。
RankRAG的关键在于其高度的交互性和可编辑性。用户不仅可以实时查看AI生成的内容，还能直接在界面上进行编辑和迭代。这种即时反馈机制大大提高了工作效率，让AI真正成为创作过程中的得力助手。更令人兴奋的是，本次更新让这些Artifacts不再局限于Claude平台内部，用户可以轻松地将它们分享到任何地方。
这次RankRAG微调框架的创新还包括两个阶段的指令微调。第一阶段进行监督微调（SFT），混合多个数据集以提高LLM的指令跟随能力。第二阶段的微调数据集包含多种QA数据、检索增强的QA数据和上下文排名数据，进一步提升LLM的检索和排名能力。
在实验中，RankRAG在九个通用领域数据集上的表现始终优于当前的开源SOTA模型ChatQA-1.5。特别是在具有挑战性的QA任务中，如长尾QA和多跳QA，RankRAG比ChatQA-1.5提高了10%以上的性能。
总的来说，RankRAG不仅在检索和生成任务中表现出色，还在生物医学RAG基准Mirage上展示了其强大的适应性。即使在没有微调的情况下，RankRAG在医学问答任务上的表现也超过了许多专业领域的开源模型。
随着RankRAG框架的提出和不断完善，我们有理由相信，AI与人类协作创作的未来将更加光明。无论是独立开发者还是研究人员，都能利用这一创新框架激发出更多创意和可能性，推动技术和应用的发展。
论文地址:https://arxiv.org/abs/2407.02485