VSEM-SAMMI : Une approche d'apprentissage multimodal explicable pour prédire l'utilité des images générées par les utilisateurs et les ventes de produits

Résumé L'utilisation de contenu généré par les utilisateurs (CGU) est d'une importance capitale pour les plateformes de commerce électronique afin d'extraire des informations commerciales précieuses. Dans cet article, nous proposons une approche d'apprentissage multimodal explicable nommée le modèle d'intégration visuel-sémantique avec un mécanisme d'attention personnelle pour l'interaction multimodale (VSEM-SAMMI) pour prédire l'utilité des images générées par les utilisateurs (IGU) et les ventes de produits. En nous concentrant sur SHEIN (c'est-à-dire un détaillant de mode rapide), nous collectons les images postées par les consommateurs, ainsi que les caractéristiques des produits et des portraits. De plus, nous utilisons VSEM-SAMMI, qui adopte un mécanisme d'attention personnelle pour renforcer les poids d'attention entre l'image et le texte, pour extraire les caractéristiques de l'IGU, puis utiliser des algorithmes d'apprentissage automatique pour prédire l'utilité de l'IGU et les ventes de produits. Nous expliquons les caractéristiques en utilisant un modèle de génération de légendes et testons le pouvoir prédictif des intégrations et des caractéristiques des portraits. Les résultats indiquent que lors de la prédiction d'informations commerciales, les intégrations sont plus informatives que les caractéristiques des produits et des portraits. La combinaison de VSEM-SAMMI avec un boosting de gradient léger (LightGBM) donne une erreur quadratique moyenne (MSE) de 0,208 pour la prédiction de l'utilité de l'IGU et de 0,184 pour la prédiction des ventes de produits. Notre étude offre des informations précieuses pour les plateformes de commerce électronique, améliore l'extraction de caractéristiques de l'IGU grâce à des intégrations image-texte conjointes pour la prédiction de l'utilité de l'IGU et des ventes de produits, et ouvre la voie à un modèle de génération de légendes pour l'interprétation des intégrations d'images dans le domaine du commerce électronique.