ライウス

データセンターは、新たに登場するユーザー向けサービスに必要な大規模なコンピュートスループットを提供するためにアクセラレーターを使用しています。ユーザー向けサービスの日次アクセスパターンは、より良いアクセラレーターの利用のために共存アプリケーションへの強いインセンティブを提供します。これまでの研究は、マルチコアプロセッサおよび従来のノンプレエンプティブアクセラレーター上での共存を可能にすることに焦点を当ててきました。しかし、現在のアクセラレーターは空間マルチタスクに進化しており、QoS違反を排除するための新たな課題を持ち込んでいます。この未解決の問題に対応するために、空間マルチタスクアクセラレーターにおけるQoS違反の根本原因を探ります。これらの原因に応じて、ユーザー向けサービスの必要なQoSを保証しつつ、バッチアプリケーションのスループットを最大化するために、共存アプリケーションに計算資源を慎重に割り当てるランタイムシステム「ライウス」を提案します。Nvidia RTX 2080Ti GPUでの評価により、ライウスは空間マルチタスクアクセラレーターの利用率を20.8%向上させ、ユーザー向けサービスの99パーセンタイル遅延目標を達成することが示されました。