現実世界における機械学習推論サービスに関する視点

要約 はじめに 機械学習（ML）を活用したシステムがさまざまな業界でますます普及する中、これらを実運用に展開し維持するためのエンジニアリング上の課題が重要な問題として浮上しています。既存のエンジニアリングの知識は、大手テクノロジー企業による概念的フレームワークや事例研究から導き出されることが多く、さまざまなエンジニアリングコンテキストにおける展開実践の実証的ニュアンスにはギャップがあります。 目的 本研究は、現実世界のML展開ワークフローと推論アーキテクチャを調査し、実践者がMLモデルを本番環境で運用する方法に影響を与える一般的なパターン、文脈のバリエーション、および根本的なトレードオフを特定することを目的としています。 方法 私たちは、広告、金融、医療、製造、ソフトウェアプラットフォームを含むさまざまなセクターにわたる8つのMLシステムの多ケーススタディを実施しました。実践者との半構造化インタビューを通じてデータを収集し、さまざまな推論アーキテクチャを調査しました。モデルのバージョン管理から推論サービスまで、展開ライフサイクル全体の繰り返しパターンを抽出するためにテーマ分析を適用しました。 結果 我々の研究結果は、5つの主要な展開テーマを明らかにしています：モデルのバージョン管理とストレージ、品質保証、モニタリング、モデルパッケージング、および推論サービス。手動およびアドホックな実践から自動化されたCI/CDパイプラインへの成熟度の勾配を特定し、引き続き厳密に結合されたモデル展開パターンと緩やかに結合されたモデル展開パターンの間のアーキテクチャ的トレードオフを強調しました。他の重要な発見には、モデルドリフトモニタリングの稀少性や、レイテンシとスケーラビリティの要件をバランスするためのハイブリッド推論サービスパターンの使用が含まれます。 結論 MLの分野や展開アーキテクチャは異なるものの、我々は標準化されたコンテキストを考慮したMLエンジニアリングプロセスを開発するための実証的な基盤を提供する再発する実践や戦略的トレードオフを観察しました。私たちの発見は、実践者に対する実行可能なガイダンスを提供し、将来の研究のための未探索の領域を特定します。