LeapVAD: 認知的知覚と二重プロセス思考による自律運転の飛躍

自律運転技術はRemarkable stridesを遂げていますが、データ駆動型アプローチはその限られた推論能力のために複雑なシナリオで苦労しています。一方、視覚言語モデルの普及に伴い、知識駆動型自律運転システムは大きく進化しました。本記事では、認知的知覚と二重プロセス思考に基づく新たな手法であるLeapVADを提案します。我々のアプローチは、人間の注意メカニズムを実装し、運転判断に影響を与える重要な交通要素を特定し集中します。外観、動作パターン、関連リスクを含む包括的な属性を通じてこれらのオブジェクトを特性化することにより、LeapVADはより効果的な環境表現を達成し、意思決定プロセスを合理化します。さらに、LeapVADは人間の運転学習プロセスを模倣する革新的な二重プロセス意思決定モジュールを組み込みます。このシステムは、論理的推論を通じて運転経験を蓄積する分析プロセス（システム-II）と、ファインチューニングと少数ショット学習を介してこの知識を洗練するヒューリスティックプロセス（システム-I）で構成されています。LeapVADはまた、反射メカニズムと成長するメモリーバンクを含み、過去の過ちから学び、閉じたループ環境でのパフォーマンスを継続的に改善することを可能にします。効率を高めるために、迅速な関連運転経験の取得のためにコンパクトなシーン表現を生成するシーンエンコーダーネットワークを開発します。CARLAとDriveArenaの二つの主要な自律運転シミュレーターで実施された広範な評価は、LeapVADが限られたトレーニングデータにもかかわらず、カメラのみのアプローチと比較して優れたパフォーマンスを達成することを示しています。包括的なアブレーションスタディは、継続的学習とドメイン適応の効果をさらに強調しています。プロジェクトページ: https://pjlab-adg.github.io/LeapVAD/.