SGFormer: ポイントクラウドに基づく3Dシーングラフ生成のためのセマンティックグラフトランスフォーマー

本論文では、SGFormerという新しいモデルを提案します。このモデルは、ポイントクラウドに基づく3Dシーングラフ生成のためのセマンティックグラフトランスフォーマーです。このタスクは、ポイントクラウドに基づくシーンをセマンティック構造グラフに解析することを目的としており、複雑なグローバル構造をモデル化することが核心的な課題です。既存のグラフ畳み込みネットワーク（GCN）に基づく手法は、過度の平滑化のジレンマに悩まされ、限られた隣接ノードからの情報のみを伝播することができます。それに対して、SGFormerはトランスフォーマーレイヤーを基本構成要素として使用し、グローバル情報の伝達を可能にし、3Dシーングラフ生成タスクに特化した新しく設計された2種類のレイヤーを持っています。具体的には、グラフエンベディングレイヤーを導入し、グラフのエッジにおけるグローバル情報を最適に活用しながら、コストを比較可能な計算コストに保つことを目指しています。さらに、セマンティックインジェクションレイヤーを提案し、大規模な言語モデル（例：ChatGPT）からの言語的知識を活用して、オブジェクトの視覚的特徴を強化します。私たちは、確立された3DSSGデータセットでSGFormerのベンチマークを行い、関係予測のR@50において40.94%の絶対改善、さらに最先端技術に対して複雑なシーンのサブセットで88.36%の向上を達成しました。私たちの分析は、長尾およびゼロショットシナリオにおけるSGFormerの優位性をさらに示しています。私たちのソースコードは、https://github.com/Andy20178/SGFormer で入手可能です。