Redes Neurales Tejidas: Redes de representación implícita neural parcheadas

Las redes de Perceptrones Multicapa (MLP) basadas en coordenadas, a pesar de ser capaces de aprender representaciones implícitas neuronales, no son eficaces para aplicaciones internas de síntesis de imágenes. Las Redes Neuronales Convolucionales (CNN) se utilizan típicamente en su lugar para una variedad de tareas generativas internas, a costa de un modelo más grande. Proponemos Neural Knitwork, una arquitectura para el aprendizaje de representación implícita neuronal de imágenes naturales que logra la síntesis de imágenes al optimizar la distribución de parches de imagen de manera adversarial y al imponer consistencia entre las predicciones de los parches. Hasta donde sabemos, esta es la primera implementación de un MLP basado en coordenadas adaptado para tareas de síntesis como la restauración de imágenes, superresolución y reducción de ruido. Demostramos la utilidad de la técnica propuesta entrenando en estas tres tareas. Los resultados muestran que modelar imágenes naturales utilizando parches, en lugar de píxeles, produce resultados de mayor fidelidad. El modelo resultante requiere un 80% menos de parámetros que las soluciones alternativas basadas en CNN, mientras logra un rendimiento y un tiempo de entrenamiento comparables.