Aprendizaje Interdominio e Interdimensional para Transformadores de Imagen a Gráfico

La transformación directa de imagen a gráfico es una tarea desafiante que resuelve la detección de objetos y la predicción de relaciones en un solo modelo. Debido a la complejidad de esta tarea, los grandes conjuntos de datos de entrenamiento son raros en muchos dominios, lo que hace que el entrenamiento de grandes redes sea complicado. Esta escasez de datos exige el establecimiento de estrategias de preentrenamiento similares a las mejores prácticas en visión por computadora. En este trabajo, introducimos un conjunto de métodos que permiten el aprendizaje por transferencia interdominio e interdimensional para transformadores de imagen a gráfico. Proponemos (1) una pérdida de muestreo de aristas regularizada para muestrear el número óptimo de relaciones de objetos (aristas) entre dominios, (2) un marco de adaptación de dominio para transformadores de imagen a gráfico que alinea características de diferentes dominios, y (3) una función de proyección simple que nos permite pre-entrenar transformadores 3D con datos de entrada 2D. Demostramos la utilidad de nuestro método en experimentos interdominio e interdimensional, donde preentrenamos nuestros modelos en imágenes satelitales 2D antes de aplicarlos a dominios objetivo muy diferentes en 2D y 3D. Nuestro método supera consistentemente una serie de líneas base en bancos de pruebas desafiantes, como la extracción de gráficos de vasos retinales o de todo el cerebro.