Aprendiendo representación continua de imágenes con la función implícita local de imagen

¿Cómo representar una imagen? Mientras que el mundo visual se presenta de manera continua, las máquinas almacenan y ven las imágenes de forma discreta con arreglos 2D de píxeles. En este artículo, buscamos aprender una representación continua para imágenes. Inspirados por el reciente progreso en la reconstrucción 3D con representación neural implícita, proponemos la Función Implícita Local de Imagen (LIIF), que toma una coordenada de imagen y las características profundas 2D alrededor de la coordenada como entradas, y predice el valor RGB en una coordenada dada como salida. Dado que las coordenadas son continuas, LIIF puede presentarse en resolución arbitraria. Para generar la representación continua de imágenes, entrenamos un codificador con la representación LIIF a través de una tarea auto-supervisada con superresolución. La representación continua aprendida puede presentarse en resolución arbitraria e incluso extrapolarse a una resolución 30 veces mayor, donde las tareas de entrenamiento no se proporcionan. Además, mostramos que la representación LIIF construye un puente entre la representación discreta y continua en 2D, apoyando naturalmente las tareas de aprendizaje con verdades fundamentales de imagen de tamaño variado y superando significativamente el método que redimensiona las verdades fundamentales. Nuestra página de proyecto con código está en https://yinboc.github.io/liif/.