多模态解释：证明决策并指向证据

在许多环境中，有效且可解释的深度模型是非常理想的；之前的可解释模型是单模态的，仅提供基于图像的注意力权重可视化或基于文本的后验理由生成。我们提出了一种多模态的解释方法，并认为这两种模式提供了互补的解释优势。我们收集了两个新数据集来定义和评估这一任务，并提出了一种新颖的模型，可以提供联合文本理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量表明，使用文本解释的训练不仅产生了更好的文本理由模型，还能够更好地定位支持该决策的证据。我们也定性地展示了在某些情况下，视觉解释比文本解释更具洞察力，反之亦然，支持我们的论点，即多模态解释模型相对于单模态方法提供了显著的好处。