Gaussianas Dinâmicas 3D: Rastreamento por Síntese de Vista Dinâmica Persistente

Apresentamos um método que aborda simultaneamente as tarefas de síntese de novas vistas de cenas dinâmicas e rastreamento de seis graus de liberdade (6-DOF) de todos os elementos densos da cena. Seguindo uma estrutura de análise por síntese, inspirada em trabalhos recentes que modelam cenas como uma coleção de Gaussianas 3D otimizadas para reconstruir imagens de entrada por meio de renderização diferenciável. Para modelar cenas dinâmicas, permitimos que as Gaussianas se movam e girem ao longo do tempo, enquanto garantimos que elas tenham cor, opacidade e tamanho persistentes. Ao regularizar o movimento e rotação das Gaussianas com restrições de rigidez local, mostramos que nossas Gaussianas Dinâmicas 3D modelam corretamente a mesma área do espaço físico ao longo do tempo, incluindo a rotação desse espaço. O rastreamento denso de 6-DOF e a reconstrução dinâmica emergem naturalmente da síntese de vista dinâmica persistente, sem exigir qualquer correspondência ou fluxo como entrada. Demonstramos um grande número de aplicações subsequentes habilitadas por nossa representação, incluindo síntese de vista em primeira pessoa, síntese dinâmica de cena composicional e edição de vídeo 4D. 1 1 1. Site do Projeto: dynamic3dgaussians.github.io