クラウド–エッジ–IoT連続体における機械学習推論パイプラインの柔軟な展開

現在、クラウド–エッジ–IoT連続体における機械学習ワークロードの展開は、利用可能なハードウェアプラットフォームの多様性、厳しいパフォーマンス要件、およびワークロード自体の異質性のために困難です。この問題を解決するために、エッジデバイスを含む多様な環境での展開に適した新しい柔軟な機械学習推論アプローチが提案されています。提案されたソリューションはモジュール設計であり、幅広いユーザー定義の機械学習パイプラインとの互換性があります。エネルギー効率とスケーラビリティを向上させるために、推論のための高性能通信プロトコルが提案されており、ロードバランサに基づくスケールアウトメカニズムと共に提供されています。推論サービスはASSIST-IoTリファレンスアーキテクチャに統合され、その他のコンポーネントの利点を活用します。ソリューションは、要求の厳しいワークロードと要件を伴う実際の使用ケースを密接に模倣した2つのシナリオで評価されました。評価の結果、提案されたソフトウェアは使用ケースの高スループット・低レイテンシの推論要件を満たし、利用可能なハードウェアに効果的に適応していることが示されました。コードとドキュメンテーション、評価に使用されたデータもオープンソース化され、ソリューションの採用を促進しています。