CAIBC：捕捉超越色彩的全方位信息以进行基于文本的人物检索

基于自然语言描述，基于文本的人物检索旨在从大规模人物图像数据库中识别目标人物的图像。现有方法一般面临颜色过度依赖的问题，这意味着模型在匹配跨模态数据时过于依赖颜色信息。确实，颜色信息是检索的重要决策依据，但对颜色的过度依赖会使模型忽视其他关键线索（例如纹理信息、结构信息等），从而导致次优的检索性能。为了解决这个问题，本文提出了一种通过联合优化的多分支架构捕捉超越色彩的全方位信息（CAIBC）用于基于文本的人物检索。CAIBC包含三个分支，包括RGB分支、灰度（GRS）分支和颜色（CLR）分支。此外，为了以平衡和有效的方式充分利用全方位信息，采用了一种互学习机制，使得关注于不同信息方面的三个分支能够互相交流和学习。针对CUHK-PEDES和RSTPReid数据集在监督和弱监督的基于文本的人物检索设置下进行了广泛的实验分析，证明了CAIBC显著优于现有方法，并在所有三个任务上达到了领先的性能。