Los puntos clave no están disponibles para este artículo en este momento.
El aprendizaje de código binario ha sido un tema emergente en la recuperación de modalidades cruzadas a gran escala recientemente. Su objetivo es mapear características de múltiples modalidades en un espacio Hamming común, donde la similitud de modalidad cruzada se puede aproximar de manera eficiente a través de la distancia de Hamming. Con este fin, la mayoría de los trabajos existentes aprenden códigos binarios directamente de instancias de datos en múltiples modalidades, que preservan tanto las similitudes intra como inter-modales respectivamente. Pocos métodos consideran preservar la similitud de fusión entre instancias multimodales en su lugar, lo que puede capturar explícitamente su correlación heterogénea en la recuperación de modalidad cruzada. En este documento, proponemos un esquema de hashing, denominado Hashing de Similitud de Fusión (FSH), que incrusta explícitamente la similitud de fusión basada en grafos a través de modalidades en un espacio Hamming común. Inspirados en la fusión por difusión, nuestra idea central es construir un grafo asimétrico no dirigido para modelar la similitud de fusión entre diferentes modalidades, sobre el cual se introduce un esquema de hashing gráfico con optimización alternante para aprender códigos binarios que incrusten dicha similitud de fusión. Evaluaciones cuantitativas en tres bancos de pruebas ampliamente utilizados, es decir, UCI Handwritten Digit, MIR-Flickr25K y NUS-WIDE, demuestran que el enfoque FSH propuesto puede lograr un rendimiento superior en comparación con los métodos de vanguardia.
Liu et al. (Sat,) estudiaron esta cuestión.