シーン理解に基づいたエンドツーエンド自律運転のためのマルチモーダルセンサー融合深層ニューラルネットワーク

本研究は、深層学習およびマルチモーダルセンサー融合技術を活用して、シーン理解を伴うエンドツーエンド自律運転の性能と一般化能力を向上させることを目的としています。設計されたエンドツーエンドの深層ニューラルネットワークは、視覚画像と関連する深度情報を初期融合レベルで入力として受け取り、シーン理解と同時に車両制御コマンドとしてピクセル単位のセマンティックセグメンテーションを出力します。エンドツーエンド深層学習に基づく自律運転モデルは、高忠実度のシミュレーションされた都市運転条件でテストされ、CoRL2017およびNoCrashのベンチマークと比較されました。テスト結果は、提案されたアプローチがより良い性能と一般化能力を持ち、トレーニングおよび未観察の状況における静的ナビゲーションタスクで100%の成功率を達成し、従来のモデルよりも他のタスクでより良い成功率を示していることを示しています。さらなるアブレーション研究では、マルチモーダルセンサー融合またはシーン理解を削除したモデルが、新しい環境では誤認知のために劣ることが示されました。結果は、私たちのモデルの性能がシーン理解サブタスクとのマルチモーダルセンサー融合の相乗効果によって向上していることを確認し、開発された深層ニューラルネットワークの実現可能性と効果を示しています。