FakeShield
基于多模态大语言模型的可解释图像检测与定位
普通产品图像图像检测多模态学习
FakeShield是一个多模态框架,旨在解决图像检测和定位(IFDL)领域中的两个主要挑战:检测原理的黑箱性和在不同篡改方法间的有限泛化能力。FakeShield通过利用GPT-4o增强现有的IFDL数据集,创建了多模态篡改描述数据集(MMTD-Set),用于训练FakeShield的篡改分析能力。该框架包括领域标签引导的可解释检测模块(DTE-FDM)和定位模块(MFLM),能够处理各种类型的篡改检测解释,并实现由详细文本描述引导的定位。FakeShield在检测准确性和F1分数上优于其他方法,提供了一个可解释且优越的解决方案。