Key points are not available for this paper at this time.
In diesem Papier arbeiten wir daran, Audio-Visuelles Frage-Antwort-System (AVQA) auf mehrsprachige Einstellungen zu erweitern. Die bestehende AVQA-Forschung hat überwiegend um Englisch rotiert, und das Replizieren für die Bearbeitung von AVQA in anderen Sprachen erfordert eine erhebliche Zuordnung von Ressourcen. Als skalierbare Lösung nutzen wir maschinelle Übersetzung und präsentieren zwei mehrsprachige AVQA-Datensätze für acht Sprachen, die aus bestehenden Benchmark-AVQA-Datensätzen erstellt wurden. Dies verhindert zusätzliche menschliche Annotierungsbemühungen zur manuellen Sammlung von Fragen und Antworten. Zu diesem Zweck schlagen wir das MERA-Rahmenwerk vor, indem wir moderne (SOTA) Video-, Audio- und Textgrundlagenmodelle für AVQA in mehreren Sprachen nutzen. Wir stellen eine Reihe von Modellen vor, nämlich MERA-L, MERA-C, MERA-T, mit unterschiedlichen Modellarchitekturen, um die vorgeschlagenen Datensätze zu benchmarken. Wir glauben, dass unsere Arbeit neue Forschungsrichtungen eröffnen und als Referenzbenchmark für zukünftige Arbeiten im mehrsprachigen AVQA dienen wird.
Phukan et al. (Sun,) haben diese Frage untersucht.