Finalización de Matrices Multivista para Clasificación de Imágenes Multietiqueta

Hay un creciente interés en la clasificación de imágenes multietiqueta debido a su papel crítico en aplicaciones basadas en análisis de imágenes en la web, como la recuperación y navegación de imágenes a gran escala. La finalización de matrices (MC) se ha introducido recientemente como un método para la clasificación multietiqueta transductiva (semisupervisada) y tiene varias ventajas distintas, incluyendo robustez frente a datos faltantes y ruido de fondo tanto en el espacio de características como en el de etiquetas. Sin embargo, está limitada por considerar únicamente datos representados por una única característica de vista, lo que no puede caracterizar con precisión imágenes que contienen varios conceptos semánticos. Para utilizar múltiples características tomadas de diferentes vistas, debemos concatenar las diferentes características como un vector largo. Sin embargo, esta concatenación es propensa al sobreajuste y a menudo conduce a una complejidad temporal muy alta en la clasificación de imágenes basada en MC. Por lo tanto, proponemos combinar de manera ponderada las salidas de MC de diferentes vistas y presentamos el marco de finalización de matriz multivista (MVMC) para la clasificación de imágenes multietiqueta transductiva. Para aprender eficazmente los pesos de combinación de vista, aplicamos una estrategia de validación cruzada en el conjunto etiquetado. En particular, MVMC divide el conjunto etiquetado en dos partes y predice las etiquetas de una parte utilizando las etiquetas conocidas de la otra parte. Las etiquetas predichas se utilizan luego para aprender los coeficientes de combinación de vista. En el proceso de aprendizaje, adoptamos la pérdida de precisión promedio (AP), que es particularmente adecuada para la clasificación de imágenes multietiqueta, ya que los criterios basados en el ranking son críticos para evaluar un sistema de clasificación multietiqueta. También se presenta una formulación de pérdida de mínimos cuadrados por razones de eficiencia, y se investiga la robustez del algoritmo basado en la pérdida AP en comparación con otras pérdidas. La evaluación experimental en dos conjuntos de datos del mundo real (PASCAL VOC' 07 y MIR Flickr) demuestra la efectividad de MVMC para la clasificación de imágenes multietiqueta transductiva (semisupervisada) y muestra que MVMC puede aprovechar las propiedades complementarias de diferentes características y etiquetas consistentes en la salida para mejorar la clasificación de imágenes multietiqueta.