论文

• 论文地址

  A Survey on Multimodal Retrieval-Augmented Generation 2025

  重点关注四个关键方面：基本组件和技术、数据集、评估方法和指标以及现有局限性。

• 开源地址

  https://github.com/PanguIR/MRAGSurvey

MRAG1.0

• MRAG1.0的架构，通常被称为“伪MRAG”，与传统的RAG非常相似，由三个模块组成：文档解析与索引、检索和生成。尽管整个过程基本保持不变，但关键区别在于文档解析阶段。在这一阶段，使用专门的模型将多模态数据转换为特定模态的描述性文本（captions）。这些描述性文本随后与文本数据一起存储，以便在后续阶段中使用。

MRAG2.0

• MRAG2.0的架构通过文档解析和索引保留了多模态数据，同时引入了多模态检索和多模态大语言模型（MLLMs）用于答案生成，真正进入了多模态时代。

MRAG3.0