Direct3D-S2：利用空间稀疏注意力轻松实现超大规模3D生成

使用体积表示（如带符号距离函数（SDF））生成高分辨率3D形状面临着巨大的计算和内存挑战。我们推出了Direct3D-S2，一种基于稀疏体积的可扩展3D生成框架，在显著降低训练成本的同时实现了卓越的输出质量。我们关键的创新是空间稀疏注意力（SSA）机制，它极大提高了扩散变压器（DiT）在稀疏体积数据上的计算效率。SSA使模型能够有效处理稀疏体积内的大规模标记集，显著减少计算开销，并在前向传递中实现了3.9倍的加速，在反向传递中实现了9.6倍的加速。我们的框架还包括一个变分自编码器（VAE），在输入、潜在和输出阶段保持一致的稀疏体积格式。与以前在3D VAE中具有异构表示的方法相比，这种统一设计显著提高了训练效率和稳定性。我们的模型在公共可用数据集上进行训练，实验表明Direct3D-S2不仅在生成质量和效率上超越了最先进的方法，还使得在1024分辨率下仅使用8个GPU进行训练成为可能，而较低256分辨率的体积表示通常需要至少32个GPU，这使得超大规模3D生成变得既实用又易于接近。项目页面：https://www.neural4d.com/research/direct3d-s2。