ViDoRAG é uma nova estrutura de geração aprimorada por recuperação multimodal desenvolvida pela equipe de processamento de linguagem natural da Alibaba, projetada para lidar com tarefas complexas de raciocínio em documentos com conteúdo visual rico. A estrutura melhora significativamente a robustez e a precisão dos modelos de geração por meio de um agente de raciocínio iterativo dinâmico e uma estratégia de recuperação multimodal impulsionada por um modelo de mistura gaussiana (GMM). As principais vantagens do ViDoRAG incluem o processamento eficiente de informações visuais e de texto, suporte a raciocínio de múltiplos saltos e alta escalabilidade. A estrutura é adequada para cenários que exigem recuperação e geração de informações de documentos em larga escala, como perguntas e respostas inteligentes, análise de documentos e criação de conteúdo. Suas características de código aberto e design modular flexível o tornam uma ferramenta importante para pesquisadores e desenvolvedores na área de geração multimodal.