NTCIR-18 Lifelog-6タスクにおけるLifeIR

近年、スポーツウォッチやGoProなどのウェアラブルデバイスを通じて記録されたライフログの共有が非常に人気を集めています。ライフログには画像、動画、GPSデータなどさまざまな情報が含まれ、ユーザーのライフスタイル、食事パターン、身体活動が明らかにされます。NTCIR-18 Lifelog-6チャレンジにおけるライフログセマンティックアクセスタスク（LSAT）は、アクションやイベントを説明するテキストクエリに基づいて、大規模なユーザーのライフログから関連する画像を取得することに焦点を当てています。これは、ユーザーがライフログの歴史的な瞬間のシナリオに関する画像を見つけるニーズを満たします。この画像検索に関するタスクのために、私たちは、ライフログ取得のさまざまな課題に対処するマルチステージパイプラインを提案します。私たちのパイプラインには、ぼやけた画像のフィルタリング、意図を明確にするためのクエリの書き換え、イベントに基づいた候補セットの拡張、そしてより強力な関連性判断能力を持つマルチモーダル大型言語モデル（MLLM）を使用した結果の再ランク付けが含まれています。私たちの提出物の評価結果は、各ステージと全体のパイプラインの有効性を示しています。