大規模言語モデルのサービングにおける推測的デコーディングの最適化（グッドプットを用いて）

大規模言語モデル（LLM）の推論遅延を削減することは極めて重要であり、推測的デコーディング（SD）は最も効果的な技術の一つとして注目されています。LLMにすべてのトークンを直接生成させるのではなく、推測的デコーディングは効果的な代理モデルを用いて可能な出力を予測し、それをLLMが検証することで生成品質を損なうことなく高速化を図ります。しかし、実際のオンラインLLMサービングシステム（連続バッチ処理あり）にSDを適用しても常に性能向上が得られるわけではなく、リクエストレートが高い場合や推測精度が低い場合には逆に遅延が増加することがあります。さらに、異なるシステム負荷下であらゆるワークロードに最適な推測長は存在しません。これらの観察に基づき、我々は動的フレームワークであるSmartSpecを開発しました。SmartSpecは新しい指標であるグッドプット（システム全体の現在の負荷と推測精度を特徴づける）に基づき、各リクエストに対して最適な推測長（0＝推測なしから複数トークンまで）とそれに伴う推測実行コストを動的に決定します。我々の結果は、SmartSpecが対象となるモデルサイズ、ドラフトモデル、リクエストレート、データセットが異なる条件下でも非推測的デコーディングのベースラインに比べて平均リクエスト遅延を最大3.2倍削減することを示しています。さらに、SmartSpecは従来のモデルベースの推測的デコーディングに加えて、プロンプトルックアップや木構造デコーディングのようなモデルフリー手法にも適用可能です。