Aprendiendo de pares fáciles a difíciles: Red de razonamiento multi-escalón para la detección de interacción humano-objeto

La detección de interacción humano-objeto (HOI) tiene como objetivo interpretar las interacciones de pares humano-objeto. Los métodos existentes adoptan un paradigma de razonamiento de un solo paso que produce simultáneamente resultados de múltiples etiquetas para todos los pares de HOI sin distinguir las dificultades. Sin embargo, hay variaciones significativas entre los pares de HOI en la misma imagen, lo que provoca que su desempeño se degrade en situaciones desafiantes. En este artículo, argumentamos que el modelo debería priorizar las muestras difíciles después de inferir las fáciles, y las muestras difíciles pueden beneficiarse de las fáciles. Con este fin, proponemos una nueva Red de Razonamiento Multi-escalón que aprende progresivamente de muestras fáciles a difíciles. En particular, se introduce un Bloque de Aprendizaje de Fácil a Difícil para mejorar la representación de pares difíciles de HOI mediante asociaciones previas. Además, proponemos un mecanismo de Transferencia de Probabilidad de Razonamiento Multi-escalón para mejorar las clasificaciones de interacción de múltiples etiquetas, que aprovecha las asociaciones cognitivas y las dependencias semánticas. Experimentos extensos demuestran que nuestro método supera a otros de última generación en dos conjuntos de datos de referencia desafiantes.