Clipper：低遅延オンライン予測提供システム

機械学習は、リアルタイムで正確かつ堅牢な予測を高負荷のクエリ条件下で要求されるアプリケーションでますます広く展開されています。しかし、ほとんどの機械学習フレームワークやシステムはモデルのトレーニングのみを対象としており、展開には対応していません。本論文では、一般的な低遅延予測提供システムであるClipperを導入します。Clipperは、エンドユーザーアプリケーションと幅広い機械学習フレームワークの間に介在し、フレームワークとアプリケーション全体でのモデル展開を簡素化するためのモジュラーアーキテクチャを導入しています。さらに、キャッシング、バッチ処理、および適応的モデル選択技術を導入することで、Clipperは予測の遅延を削減し、予測のスループット、精度、堅牢性を改善します。これは基盤となる機械学習フレームワークを変更することなく実現されています。私たちは、Clipperを4つの一般的な機械学習ベンチマークデータセットで評価し、オンライン提供アプリケーションの遅延、精度、スループットの要求に応える能力を示します。最後に、ClipperをTensorFlow Servingシステムと比較し、モデルの構成とオンライン学習を可能にすることで、同等のスループットと遅延を達成することができ、より高い精度と堅牢な予測を実現することを示します。