ランク付きメモリ強化リトリーバルを用いた長期コンテキストモデリング

効果的な長期メモリ管理は、拡張されたコンテキストを扱う言語モデルにとって重要です。我々は、関連性に基づいてメモリエントリを動的にランク付けする新しいフレームワークを導入します。従来の研究とは異なり、我々のモデルは情報検索における学習ランキング技術に触発され、キー-バリュー埋め込みに対する新しい関連性スコアリングとポイントワイズ再ランクモデルを導入します。強化されたランク付きメモリ強化リトリーバル（ERMAR）は、標準ベンチマークで最新の状態にある結果を達成します。