Detección de objetos en un mundo abierto semi-supervisado

La configuración convencional del problema de detección de objetos en un mundo abierto (OWOD) distingue primero entre clases conocidas y desconocidas y luego aprende de manera incremental los objetos desconocidos cuando se introducen con etiquetas en las tareas posteriores. Sin embargo, la formulación actual de OWOD depende en gran medida de un oráculo humano externo para la entrada de conocimiento durante las etapas de aprendizaje incremental. Tal dependencia en tiempo real hace que esta formulación sea menos realista en un despliegue en el mundo real. Para abordar esto, introducimos una formulación más realista, llamada detección en un mundo abierto semi-supervisado (SS-OWOD), que reduce el costo de anotación al plantear las etapas de aprendizaje incremental de OWOD de manera semi-supervisada. Demostramos que el rendimiento del detector OWOD de última generación se deteriora drásticamente en la configuración de SS-OWOD propuesta. Por lo tanto, introducimos un nuevo detector SS-OWOD, llamado SS-OWFormer, que utiliza un esquema de alineación de características para alinear mejor las representaciones de consulta de objeto entre las imágenes originales y aumentadas para aprovechar los grandes datos no etiquetados y pocos etiquetados. Además, introducimos un esquema de etiquetado pseudo para la detección desconocida que explota la capacidad inherente de las consultas de objeto del decodificador para capturar información específica del objeto. Demostramos la efectividad de nuestra configuración de problema SS-OWOD y enfoque para la detección de objetos de teledetección, proponiendo divisiones cuidadosamente curadas y evaluaciones de rendimiento base. Nuestros experimentos en 4 conjuntos de datos, incluyendo MS COCO, PASCAL, Objects365 y DOTA, demuestran la efectividad de nuestro enfoque. Nuestro código fuente, modelos y divisiones están disponibles aquí - https://github.com/sahalshajim/SS-OWFormer