Key points are not available for this paper at this time.
La synthèse vidéo conditionnée par requête nécessite de (1) trouver un ensemble diversifié de prises/cadres vidéo qui représentent l'ensemble de la vidéo, et que (2) les prises/cadres sélectionnés soient liés à une requête donnée. Ainsi, elle peut être adaptée à différents intérêts des utilisateurs, permettant une synthèse mieux personnalisée et différant de la synthèse vidéo générique qui se concentre uniquement sur le contenu vidéo. Notre travail vise cette tâche de synthèse vidéo conditionnée par requête, en proposant d'abord un Réseau de Cartographie (MapNet) pour exprimer à quel point une prise est liée à une requête donnée. MapNet aide à établir la relation entre les deux modalités différentes (vidéos et requête), ce qui permet la cartographie des informations visuelles dans l'espace des requêtes. Ensuite, un réseau de synthèse basé sur l'apprentissage par renforcement (SummNet) est développé pour fournir des résumés personnalisés en intégrant des récompenses de pertinence, de représentativité et de diversité. Ces récompenses guident conjointement l'agent à sélectionner les prises vidéo les plus représentatives et diversifiées, les plus liées à la requête de l'utilisateur. Les résultats expérimentaux d'une référence de synthèse vidéo conditionnée par requête démontrent l'efficacité de notre méthode proposée, indiquant l'utilité du mécanisme de cartographie proposé ainsi que de l'approche d'apprentissage par renforcement.
Zhang et al. (Thu,) ont étudié cette question.