MatrixCity : Un ensemble de données à grande échelle pour le rendu neural à l'échelle de la ville et au-delà

Les champs de radiance neurale (NeRF) et ses variantes ultérieures ont conduit à des progrès remarquables dans le rendu neural. Alors que la plupart des travaux récents sur le rendu neural se concentrent sur des objets et des scènes à petite échelle, le développement de méthodes de rendu neural pour des scènes à l'échelle de la ville présente un grand potentiel dans de nombreuses applications du monde réel. Cependant, cette ligne de recherche est entravée par l'absence d'un ensemble de données complet et de haute qualité, et la collecte d'un tel ensemble de données sur des scènes urbaines réelles est coûteuse, sensible et techniquement difficile. À cet effet, nous construisons un ensemble de données synthétiques à grande échelle, complet et de haute qualité pour la recherche en rendu neural à l'échelle de la ville. En utilisant le projet City Sample d'Unreal Engine 5, nous avons développé un pipeline pour collecter facilement des vues aériennes et de rues de villes, accompagnées de poses de caméra de vérité de terrain et d'une variété de modalités de données supplémentaires. Des contrôles flexibles sur des facteurs environnementaux comme la lumière, la météo, les foules humaines et automobiles sont également disponibles dans notre pipeline, soutenant le besoin de diverses tâches couvrant le rendu neural à l'échelle de la ville et au-delà. L'ensemble de données pilote résultant, MatrixCity, contient 67k images aériennes et 452k images de rue provenant de deux cartes de ville d'une taille totale de 28 km². En plus de MatrixCity, une évaluation approfondie est également réalisée, qui révèle non seulement des défis uniques de la tâche de rendu neural à l'échelle de la ville, mais met également en lumière les améliorations potentielles pour les travaux futurs. L'ensemble de données et le code seront disponibles publiquement sur la page du projet : https://city-super.github.io/matrixcity/.