Complete o Visual: Recomendação de Produtos Complementares Baseada em Cenários

Modelar a compatibilidade na moda é desafiador devido à sua complexidade e subjetividade. O trabalho existente se concentra em prever a compatibilidade entre imagens de produtos (por exemplo, uma imagem contendo uma camiseta e uma imagem contendo um par de jeans). No entanto, essas abordagens ignoram imagens de 'cena' do mundo real (por exemplo, selfies); tais imagens são difíceis de lidar devido à sua complexidade, desordem, variações na iluminação e na pose (etc.), mas, por outro lado, podem potencialmente fornecer um contexto chave (por exemplo, o tipo de corpo do usuário ou a estação) para fazer recomendações mais precisas. Neste trabalho, propomos uma nova tarefa chamada 'Complete o Visual', que busca recomendar produtos visualmente compatíveis com base em imagens de cena. Projetamos uma abordagem para extrair dados de treinamento para essa tarefa e propomos uma maneira nova de aprender a compatibilidade cena-produto a partir de imagens de moda ou design de interiores. Nossa abordagem mede a compatibilidade tanto globalmente quanto localmente por meio de CNNs e mecanismos de atenção. Extensos experimentos mostram que nosso método alcança ganhos significativos de desempenho em relação a sistemas alternativos. Avaliação humana e análise qualitativa também são realizadas para entender melhor o comportamento do modelo. Esperamos que este trabalho possa levar a aplicativos úteis que conectem grandes corpora de cenas do mundo real com produtos compráveis.