ClickDiff: 拡散モデルによる制御可能な把持生成のための意味的接触マップを誘導するためのクリック

把持生成は、特定のオブジェクトとの複雑な手とオブジェクトの相互作用を作成することを目的としています。従来の把持生成アプローチは主にシーンの制約下での可視性と多様性に焦点を当ててきましたが、接触などの細かい手とオブジェクトの相互作用を見落としがちであり、その結果、正確でない望ましくない把持が生じます。これらの課題に対処するために、制御可能な把持生成タスクを提案し、細かな意味的接触マップ（SCM）を活用する制御可能な条件付き生成モデルであるClickDiffを紹介します。特に、インタラクティブな把持を合成する際に、この方法はユーザーが指定した意味的接触マップまたはアルゴリズムによって予測された意味的接触マップのいずれかを通じて把持合成を正確に制御することを可能にします。具体的には、接触監視制約を最適に活用し、手の複雑な物理構造を正確にモデル化するために、二重生成フレームワークを提案します。このフレームワーク内で、意味的条件モジュールは、細かい接触情報に基づいて合理的な接触マップを生成し、接触条件モジュールは接触マップをオブジェクトの点群と共に利用してリアルな把持を生成します。制御可能な把持生成に適用可能な評価基準を評価します。GRABおよびARCTICデータセットにおける単手および両手生成の実験は、提案した方法の妥当性を検証し、ClickDiffの有効性と堅牢性を示しています。私たちのコードは https://github.com/adventurer-w/ClickDiff で入手できます。