A3D: ¿Sueña la difusión con la alineación 3D?

Abordamos el problema de la generación 3D impulsada por texto desde una perspectiva de alineación geométrica. Nuestro objetivo es la generación de múltiples objetos que sean consistentes en términos de semántica y geometría. Los métodos recientes basados en la destilación de puntuaciones han tenido éxito en destilar el conocimiento de modelos de difusión 2D a objetos de alta calidad representados por campos de radiación neuronal 3D. Estos métodos manejan múltiples consultas de texto por separado y, por lo tanto, los objetos resultantes tienen una alta variabilidad en la pose y estructura del objeto. Sin embargo, en algunas aplicaciones como la edición geométrica, es deseable obtener objetos alineados. Para lograr la alineación, proponemos optimizar las trayectorias continuas entre los objetos alineados, modelando un espacio de interpolaciones lineales por pares de las incrustaciones textuales con una única representación NeRF. Demostramos que objetos similares, compuestos de partes semánticamente correspondientes, pueden alinearse bien en el espacio 3D sin modificaciones costosas en el proceso de generación. Proporcionamos varios escenarios prácticos, incluyendo edición de mallas e hibridación de objetos, que se benefician de la alineación geométrica y demostramos experimentalmente la eficiencia de nuestro método. https://voyleg.github.io/a3d/