一种多模态生成式人工智能驱动的三维地理场景重建方法

传统的三维地理场景重建方法依赖于单一数据源进行几何恢复，难以有效整合文本和语义等非几何信息。这在数据稀疏或非几何描述的场景中严重阻碍了重建的可行性。生成式人工智能在多模态数据理解和生成方面的进展提供了新的解决方案。然而，将生成式人工智能应用于此任务仍面临两个核心挑战：模型输出随机性与重建精度之间的冲突，以及模型通用性与在地理场景中生成多样化、专业内容之间的冲突。本研究提出了一个由地理实体语义指导并由多模态生成模型驱动的框架。它首先整合多模态输入进行语义增强，然后在几何和领域增强约束下生成三维实体，最后使用空间姿态约束完成场景整合。案例研究展示了该方法在各种数据组合中的适用性。它不仅重建了仅从文本输入的场景，解决了可行性挑战，还通过快速领域增强生成了高精度专业实体。此外，增加几何约束显著提高了重建精度和视觉真实感，用户评估证实了其在全面性上优于传统参数化方法。