基于模态回归和多模态IoU的大偏差多模态行人检测

多种模态的结合使用使得在光照条件较差的情况下能够通过结合这些模态的高可见区域实现准确的行人检测。这种组合使用的重要假设是两个模态之间没有或只有微弱的偏差。然而，在实际情况下，这一假设通常会失效。由于这一假设的崩溃，两个模态之间的边界框位置不匹配，导致检测准确率显著下降，尤其是在偏差较大的区域。在本文中，我们提出了一种对大偏差具有鲁棒性的多模态Faster-RCNN。其关键在于1）模态回归和2）用于小批量采样的多模态IoU。为了解决大偏差问题，我们对两个模态的RPN和检测头进行边界框回归。我们还提出了一种新的采样策略，称为“多模态小批量采样”，该策略整合了两个模态的IoU。通过实际图像实验，我们证明了所提方法在处理大偏差数据时，其性能远优于现有的最先进方法。