Eine neuartige Video-Codierungsstrategie in HEVC zur Objekterkennung

Videos, die den größten Teil des globalen Datenverkehrs ausmachen, werden in fast jedem Aspekt unseres Lebens generiert. Aufgrund des enormen Volumens sind wir stark von analysen basierend auf maschineller Intelligenz abhängig. In der Zwischenzeit wurde die Videokodierungstechnologie kontinuierlich verbessert, um eine bessere Kompressionseffizienz zu erreichen. Allerdings sind die aktuellsten Video-Codierungsstandards wie H.265/HEVC und versatile Video Codierung (VVC) immer noch so ausgelegt, dass das komprimierte Video später von einem Menschen angesehen wird. Ein solches Design ist nicht optimal, wenn das komprimierte Video von Computer Vision-Anwendungen verwendet wird. Während das menschliche visuelle System (HVS) konsistent sensibel auf Inhalte mit hohem Kontrast reagiert, ist der Einfluss von Pixeln auf Computer-Vision-Algorithmen auf die jeweilige Aufgabe abgestimmt. Zum Beispiel variiert der Einfluss des gleichen Bildinhalts auf die Detektoren aufgrund der verschiedenen Kategorien von Objekten, die zum Trainieren der Erkennungsalgorithmen verwendet werden. Daher sind menschenorientierte Video-Codierungsstrategien möglicherweise nicht optimal, wenn das komprimierte Signal von Algorithmen weiterverarbeitet wird, da der Encoder sich der aufgabenspezifischen Informationen nicht bewusst ist. In diesem Artikel schlagen wir am Beispiel der Objekterkennung eine neuartige Video-Codierungsstrategie für Computer Vision vor. Indem wir die Informationen gemäß ihrer Bedeutung für einen Objektdetektor anstelle des menschlichen visuellen Systems schützen, hat unsere vorgeschlagene Methode das Potenzial, eine bessere Objekterkennungsleistung bei gleicher Bandbreite zu erzielen. Die Hauptbeiträge unseres Papiers sind: 1) die Modellierung der Beziehung zwischen der Genauigkeit der Objekterkennung und der Bitrate; 2) eine auf Rückpropagation basierende Methode zur Analyse des Einflusses jedes Pixels auf die Erkennung von Zielobjekten; 3) ein auf Objekterkennung ausgerichtetes Bitzuweisungs- und Codec-Kontrollparameterschema; 4) eine Evaluierungsmetrik zum Vergleich der Auswirkungen von Video-Codierungsstrategien auf einen gegebenen Objektdetektor über einen definierten Bereich von Bitraten. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagener Algorithmus den Videoinhalt, der für die Objekterkennung entscheidend ist, besser bewahren kann als die aktuellen Video-Codierungsschemata.