ViDoRAG est un nouveau framework de génération améliorée par la recherche multimodale développé par l'équipe de traitement du langage naturel d'Alibaba, spécialement conçu pour les tâches d'inférence complexes sur les documents riches en visuels. Ce framework, grâce à des agents d'inférence itérative dynamique et une stratégie de recherche multimodale pilotée par un modèle de mélange gaussien (GMM), améliore considérablement la robustesse et la précision des modèles génératifs. Les principaux avantages de ViDoRAG incluent le traitement efficace des informations visuelles et textuelles, la prise en charge du raisonnement à plusieurs sauts et une forte extensibilité. Ce framework convient aux scénarios nécessitant la recherche et la génération d'informations à partir de documents à grande échelle, tels que les questions-réponses intelligentes, l'analyse de documents et la création de contenu. Son caractère open source et sa conception modulaire flexible en font un outil important pour les chercheurs et les développeurs dans le domaine de la génération multimodale.