Coincidencia de Conjuntos Guiada por Relaciones Híbridas para el Reconocimiento de Acciones con Pocas Muestras

Los métodos actuales de reconocimiento de acciones con pocas muestras alcanzan un rendimiento impresionante al aprender características discriminativas para cada video a través de un entrenamiento episódico y diseñar diversas estrategias de alineación temporal. Sin embargo, están limitados en que (a) aprender características individuales sin considerar toda la tarea puede hacer que se pierda la información más relevante en el episodio actual, y (b) estas estrategias de alineación pueden fallar en instancias desalineadas. Para superar estas dos limitaciones, proponemos un nuevo enfoque de Coincidencia de Conjuntos Guiada por Relaciones Híbridas (HyRSM) que incorpora dos componentes clave: un módulo de relación híbrida y una métrica de coincidencia de conjuntos. El propósito del módulo de relación híbrida es aprender incrustaciones específicas para la tarea al explotar completamente las relaciones asociadas dentro y entre videos en un episodio. Basándonos en las características específicas de la tarea, reformulamos la medida de distancia entre videos de consulta y soporte como un problema de coincidencia de conjuntos y además diseñamos una métrica bidireccional de Hausdorff Medio para mejorar la resistencia a instancias desalineadas. De este modo, el HyRSM propuesto puede ser altamente informativo y flexible para predecir categorías de consulta bajo los ajustes de pocas muestras. Evaluamos HyRSM en seis puntos de referencia desafiantes, y los resultados experimentales muestran su superioridad sobre los métodos de última generación con un margen convincente. Página del proyecto: https://hyrsm-cvpr2022.github.io/.