Transformer-unterstütztes Multi-Modal Item Embedding zur verbesserten Bildsuche im E-Commerce

Im letzten Jahrzehnt wurden erhebliche Fortschritte im Bereich der Bildsuche für E-Commerce-Anwendungen erzielt. Traditionelle Bild-zu-Bild-Retrieval-Modelle, die sich ausschließlich auf Bilddetails wie Textur konzentrieren, übersehen oft nützliche semantische Informationen, die in den Bildern enthalten sind. Infolgedessen könnten die abgerufenen Produkte ähnliche Bilddetails aufweisen, aber die Suchziele des Nutzers nicht erfüllen. Darüber hinaus führt die Verwendung von Bild-zu-Bild-Retrieval-Modellen für Produkte mit mehreren Bildern zu erheblichem Speicheraufwand für Produktmerkmale und komplexen Mapping-Implementierungen. In diesem Papier berichten wir über das Design und die Implementierung des vorgeschlagenen Multi-modal Item Embedding Modells (MIEM), um diese Einschränkungen zu adressieren. Es ist in der Lage, sowohl textuelle Informationen als auch mehrere Bilder zu einem Produkt zu nutzen, um bedeutungsvolle Produktmerkmale zu erstellen. Durch die Nutzung semantischer Informationen aus Bildern ergänzt MIEM effektiv den Bildsuchprozess und verbessert die Gesamtnauigkeit der Abruf-Ergebnisse. MIEM ist zu einem integralen Bestandteil der Bildsuchplattform von Shopee geworden. Seit seiner Einführung im März 2023 hat es einen bemerkenswerten Anstieg von 9,90 % bei den Klicks pro Nutzer und einen Anstieg von 4,23 % bei den Bestellungen pro Nutzer für die Bildsuchfunktion auf der Shopee E-Commerce-Plattform erreicht.