Avancement du Réajustement par Fusion Multimodale et Tâches Auxiliaires Orientées Objectifs dans la Recherche E-Commerce

Dans le domaine en évolution rapide du e-commerce, l'efficacité des modèles de réajustement de recherche est cruciale pour améliorer l'expérience utilisateur et augmenter les taux de conversion. Malgré des avancées significatives dans la représentation des caractéristiques et l'architecture des modèles, l'intégration des informations multimodales reste sous-explorée. Cette étude aborde cette lacune en examinant le calcul et la fusion des informations textuelles et visuelles dans le contexte du réajustement. Nous proposons l'Avancement du Réajustement par Fusion Multimodale et Tâches Auxiliaires Orientées Objectifs (ARMMT), qui intègre une technique de fusion multimodale basée sur l'attention et une tâche auxiliaire alignée sur le classement pour améliorer la représentation des articles et augmenter les capacités de ciblage. Cette méthode enrichit non seulement la compréhension des attributs des produits mais permet également des recommandations plus précises et personnalisées. Les évaluations expérimentales sur la plateforme de recherche de JD.com montrent qu'ARMMT atteint des performances de pointe dans l'intégration d'informations multimodales, comme le prouve une augmentation de 0,22 % du Taux de Conversion (CVR), contribuant de manière significative au Volume Brut de Marchandise (GMV). Cette approche pionnière a le potentiel de révolutionner le réajustement dans le e-commerce, menant à une satisfaction utilisateur accrue et à la croissance des entreprises.