绘制与理解：利用视觉提示使多模态大语言模型理解您的需求

人类与人工智能（AI）之间的互动是反映多模态大语言模型（MLLMs）有效性的关键因素。然而，目前的MLLMs主要集中在图像级理解上，并将互动限制在文本指令，从而限制了它们的使用灵活性和响应深度。在本文中，我们介绍了绘制与理解项目：一个新的模型，一个跨领域的数据集，以及一个用于视觉提示的挑战性基准。具体而言，我们提出了SPHINX-V，这是一个端到端训练的多模态大语言模型（MLLM），它连接了视觉编码器、视觉提示编码器和LLM，用于处理各种视觉提示（点、边界框和自由形状）和语言理解。为了推进MLLMs的视觉提示研究，我们引入了MDVP-Data和MDVP-Bench。MDVP-Data包含一个跨领域的数据集，包含160万个独特的图像-视觉提示-文本指令样本，包括自然图像、文档图像、OCR图像、手机截图、网页截图和多面板图像。此外，我们呈现了MDVP-Bench，一个全面且具有挑战性的基准，用于评估模型理解视觉提示指令的能力。我们的实验展示了SPHINX-V通过视觉提示展现出的令人印象深刻的多模态互动能力，揭示了在细节像素级描述和问答能力上显著的改善。