层次多智能体强化学习用于增强检索的工业文档问答

摘要 多模态工业文档——如操作手册、电路图和参数表——包含分布在文本、图像和文档布局中的领域知识。然而，大多数现有的增强生成（RAG）框架依赖于固定模态权重和统一检索深度的静态检索和融合策略，使其在适应不同查询意图和动态跨模态依赖方面较差。因此，它们通常无法检索到完整的证据，并在复杂的长文档场景中产生次优推理。为了解决这些挑战，我们提出了MARL-RAGDoc，一个用于多模态增强推理的层次多智能体强化学习框架。一个高层协调代理根据查询特征动态分配模态权重和检索深度，而专门的文本、图像和表格代理在其各自的候选池中进行细粒度证据选择。一个协作推理模块整合检索的证据并提供层次奖励信号，以持续优化检索策略。在多个多模态文档基准上的实验结果表明，MARL-RAGDoc在检索准确性和推理性能上始终优于基线，同时保持计算效率。我们的代码和数据集可在 https://github.com/Yihong-Q/MARL-RAGDoc 免费获得。