Imputation fehlender Modalitäten über kaskadierte Residual-Autoencoder

Erschwingliche Sensoren führen zu einem zunehmenden Interesse an der Erfassung und Modellierung von Daten mit mehreren Modalitäten. Das Lernen aus mehreren Modalitäten hat gezeigt, dass es die Leistung bei der Objekterkennung erheblich verbessert. In der Praxis ist es jedoch üblich, dass die Messgeräte unvorhersehbare Fehlfunktionen oder Konfigurationsprobleme aufweisen, die zu korrupten Daten mit fehlenden Modalitäten führen. Die meisten vorhandenen multimodalen Lernalgorithmen können fehlende Modalitäten nicht verarbeiten und würden entweder alle Modalitäten mit fehlenden Werten oder alle korrupten Daten verwerfen. Um die wertvollen Informationen in den korrupten Daten zu nutzen, schlagen wir vor, die fehlenden Daten durch die Ausnutzung der Verwandtschaft zwischen verschiedenen Modalitäten zu imputieren. Im Speziellen schlagen wir einen neuartigen kaskadierten Residual-Autoencoder (CRA) vor, um fehlende Modalitäten zu imputieren. Durch das Stapeln von Residual-Autoencodern wächst CRA iterativ, um den Residual zwischen der aktuellen Vorhersage und den ursprünglichen Daten zu modellieren. Umfassende Experimente zeigen die überlegene Leistung von CRA sowohl bei der Datenimputation als auch bei der Objekterkennungsaufgabe auf imputierten Daten.