Key points are not available for this paper at this time.
当前的视觉与语言导航（VLN）任务主要使用文本指令来引导代理。然而，由于本质上是抽象的，相同的文本指令可以与不同的视觉信号相关联，造成严重的歧义，并限制了用户向代理在视觉领域传递先前知识的能力。为了填补这一空白，我们提出了带有多模态提示的视觉与语言导航（VLN-MP），这是一项通过在指令中集成自然语言和图像来增强传统VLN的新任务。VLN-MP不仅通过有效处理仅文本提示来保持向后兼容性，还在不同数量和相关性的视觉提示下始终显示出优势。视觉提示可能的形式包括确切和相似的对象图像，为多样化导航场景提供适应性和灵活性。为了在统一框架下评估VLN-MP，我们实施了一个新的基准，提供： (1) 一个无训练的管道，将文本指令转换为带有地标图像的多模态形式； (2) 具有多模态指令的多样化数据集，适用于不同的下游任务； (3) 一个新模块，旨在处理各种图像提示，以便与最新的VLN模型无缝集成。在四个VLN基准（R2R、RxR、REVERIE、CVDN）上的大量实验表明，结合视觉提示会显著提升导航性能。虽然在仅文本提示下保持高效，VLN-MP使代理能够在预探索环境中导航，并超越基于文本的模型，显示出其更广泛的适用性。代码可在 https://github.com/honghd16/VLN-MP 获得.
Hong et al. (Fri,) studied this question.