Chatbot Multi-Modal dans la Fabrication Intelligente

L'intelligence artificielle (IA) a été largement utilisée dans diverses industries. Dans ce travail, nous nous concentrons sur ce que l'IA est capable de faire dans la fabrication, sous la forme d'un chatbot. Nous avons conçu un chatbot qui aide les utilisateurs à accomplir une tâche d'assemblage qui simule celles des environnements de fabrication. Afin de recréer ce cadre, nous demandons aux utilisateurs d'assembler un robot Meccanoid à travers plusieurs étapes, avec l'aide d'un système de dialogue interactif. En classifiant l'intention des utilisateurs, le chatbot est capable de fournir des réponses ou des instructions à l'utilisateur lorsque ce dernier rencontre des problèmes pendant le processus d'assemblage. Notre objectif est d'améliorer notre système afin qu'il puisse capter les besoins des utilisateurs en détectant leur intention et, par conséquent, fournir des informations pertinentes et utiles à l'utilisateur. Cependant, dans une tâche en plusieurs étapes, nous ne pouvons pas nous fier à la classification de l'intention avec l'énoncé de question de l'utilisateur comme seul input, car les questions soulevées par l'utilisateur provenant de différentes étapes peuvent partager la même intention mais nécessiter des réponses différentes. Dans cet article, nous avons proposé deux méthodes pour aborder ce problème. La première est que nous capturons non seulement les caractéristiques textuelles mais aussi les caractéristiques visuelles à travers le modèle YMC basé sur YOLO. L'autre est l'utilisation d'un autoencodeur pour encoder des caractéristiques multi-modales pour la classification de l'intention des utilisateurs. En incorporant des informations visuelles, nous avons considérablement amélioré la performance du chatbot à partir des expériences menées sur différents ensembles de données.