長いコンテキスト能力はLLMの最も重要な能力の一つと考えられており、真に長いコンテキスト対応のLLMは、ユーザーが多くの元々煩雑なタスクを容易に処理できるようにします。例えば、長文ドキュメントを消化して回答を探すのに対し、直接LLMに質問するなど。しかし、既存の実タスクベースの長コンテキスト評価ベンチマークには二つの大きな欠点があります。第一に、LongBenchのようなベンチマークはモデルのベースライン能力と長コンテキストの性能を正しく分離する指標を提供せず、モデル間比較が不明確になること。第二に、これらのベンチマークは通常固定された入力長で構成されており、異なるモデル間での適用が制限され、モデルの性能がどこで崩れ始めるかを明らかにできません。これらの問題に対処するために、長さ制御可能な長コンテキストベンチマークと、ベースライン知識と真の長コンテキスト能力を分離する新たな指標を導入しました。実験により、我々の手法がLLMを効果的に評価する上で優れていることを示します。
Wangら（Sun,）がこの問題を研究しました。