UniECS：统一多模态电子商务搜索框架，采用门控跨模态融合

当前的电子商务多模态检索系统面临两个主要限制：它们针对特定任务进行优化且使用固定的模态配对，并且缺乏全面的基准来评估统一检索方法。为了解决这些挑战，我们提出了UniECS，一个统一的多模态电子商务搜索框架，能够处理图像、文本及其组合的所有检索场景。我们的工作有三个主要贡献。首先，我们提出了一种灵活的架构，配备了一种新颖的门控多模态编码器，使用自适应融合机制。该编码器在处理缺失模态的同时集成不同模态表示。其次，我们开发了一种全面的训练策略来优化学习。它结合了跨模态对齐损失 (CMAL)、一致性局部对齐损失 (CLAL)、模态内对比损失 (IMCL) 和自适应损失加权。第三，我们创建了M-BEER，一个精心策划的多模态基准，包含50K个产品对，用于电子商务搜索评估。广泛的实验表明，UniECS在四个电子商务基准上持续超越现有方法，无论是微调还是零样本评估。在我们的M-BEER基准上，UniECS在跨模态任务中实现了显著的改进（文本到图像检索的R@10提升高达28\%），同时保持参数效率（0.2B参数），相比于像GME-Qwen2VL（2B）和MM-Embed（8B）等更大模型。此外，我们在快手公司电子商务搜索平台上部署了UniECS，覆盖两个搜索场景，显著提升了点击率（+2.74\%）和收入（+8.33\%）。全面的评估展示了我们的方法在实验和现实世界环境中的有效性。相关代码、模型和数据集将会在https://github.com/qzp2018/UniECS上公开。