Bag-of-Fragments

Das Ziel dieses Papiers ist die Ereigniserkennung und -wiedergabe mithilfe einer Darstellung der Konzeptdetektorscores. Im Gegensatz zu bestehenden Arbeiten, die Videos kodieren, indem sie die Konzeptwerte über alle Frames mitteln, schlagen wir vor, Videos mithilfe von Fragmenten zu kodieren, die diskriminativ pro Ereignis erlernt werden. Unser Bag-of-Fragments zerlegt ein Video in semantisch kohärente Fragmentvorschläge. Anhand von Trainingsvideovorschlägen zeigen wir, wie man das diskriminativste Fragment für ein Ereignis auswählt. Eine Kodierung eines Videos wird wiederum erzeugt, indem diese diskriminativen Fragmente mit den Fragmentvorschlägen des Videos abgeglichen und zusammengeführt werden. Das Bag-of-Fragments bildet eine effektive Kodierung für die Ereigniserkennung und ist in der Lage, eine präzise zeitlich lokalisierte Ereigniswiedergabe zu liefern. Darüber hinaus zeigen wir, wie Bag-of-Fragments erweitert werden kann, um mit irrelevanten Konzepten in der Ereigniswiedergabe umzugehen. Experimente mit herausfordernden Webvideos zeigen, dass i) unsere bescheidene Anzahl von Fragmentvorschlägen eine hohe Sub-Ereignis-Erinnerung ergibt, ii) Bag-of-Fragments komplementär zur globalen Mittelung ist und eine bessere Ereigniserkennung bietet, iii) Bag-of-Fragments mit Konzeptfilterung eine wünschenswerte Ereigniswiedergabe erzielt. Wir schließen daraus, dass Fragmente für die Ereigniserkennung und -wiedergabe von Videos wichtig sind.