近年来，人工智能（AI）在医疗行业的影响越来越显著，特别是在疾病诊断和治疗规划方面。医学大型视觉语言模型(Med-LVLMs)的发展，为实现更智能的医疗诊断工具提供了新的可能性。然而，这些模型在实际应用中，常常面临一个不容忽视的问题，那就是事实幻觉。这种现象不仅可能导致错误的诊断结果，还可能对患者的健康产生严重的后果。
为了解决这个困扰医学 AI 的问题，研究人员们开发了一种全新的多模态检索增强生成系统，命名为 MMed-RAG。这个系统的设计目标是提高 Med-LVLMs 的事实准确性，从而增强医疗诊断的可靠性。MMed-RAG 的最大亮点在于它具备域感知检索机制，这使得它能够在处理不同类型的医学影像时表现得更加高效和准确。
具体来说，MMed-RAG 采用了一个域识别模块，这个模块的作用是根据输入的医学影像，自动选择最合适的检索模型。这种自适应的选择方式，不仅提高了检索的准确性，还确保了系统能够快速响应各种医学影像的需求。比如，当医生上传一张放射学的图像时，系统能够即时识别出这是哪个领域的图像，并选择相应的模型进行分析。
除此之外，MMed-RAG 还引入了一种自适应校准的方法，用于智能选择检索到的上下文数量。以往，很多系统在检索时会一次性获取大量信息，但这些信息未必都对最终的诊断有帮助。MMed-RAG 通过自适应校准，能够在不同场景下选择最合适的上下文信息，从而提升信息的利用效率。
在这套系统的基础上，MMed-RAG 还结合了基于 RAG 的偏好微调策略。这一策略的目的在于改善模型在生成回答时的跨模态对齐和整体对齐。
具体来说，系统设计了一些偏好对，鼓励模型在生成回答时充分利用医学影像，即使某些回答在没有影像的情况下是正确的，也要尽量避免。这样一来，不仅提高了诊断的准确性，也能帮助模型在面对不确定性时更好地理解检索到的上下文信息，避免受到无关数据的干扰。
通过在多个医学数据集上的测试，MMed-RAG 的表现非常出色。研究人员发现，这个系统平均提高了43.8% 的事实准确性，极大地增强了医学 AI 的可靠性。这一成果不仅为医疗领域的智能化进程注入了新的动力，也为未来的医疗诊断工具发展提供了可借鉴的思路。
随着 MMed-RAG 的问世，我们可以期待，未来的医疗 AI 将能够更准确地服务于医生和患者，真正实现智能医疗的愿景。
论文:https://arxiv.org/html/2410.13085v1
项目入口:https://github.com/richard-peng-xia/MMed-RAG
划重点:
🌟 MMed-RAG 系统通过域感知检索机制提升了对不同医学影像的处理能力。
🔍 自适应校准方法确保了检索上下文的选择更加精准，信息利用效率更高。
💡 实验结果表明，MMed-RAG 在多个医学数据集上的事实准确性提升了43.8%。