カーネルを用いたオンライン学習

サポートベクターマシンなどのカーネルベースのアルゴリズムは、すべてのトレーニングデータが事前に利用可能なバッチ環境において、さまざまな問題でかなりの成功を収めています。サポートベクターマシンは、いわゆるカーネルトリックと大きなマージンの概念を組み合わせています。これらの方法は、リアルタイムアプリケーションに適したオンライン環境での利用がほとんどありません。本論文では、再生カーネルヒルベルト空間におけるオンライン学習を考察します。特徴空間内での古典的な確率的勾配降下法といくつかの簡単なトリックを考慮することで、分類、回帰、異常検知などの幅広い問題に対してシンプルで計算効率の良いアルゴリズムを開発します。オンライン環境でのカーネルトリックの活用を可能にするだけでなく、漂流するターゲットに対するオンライン環境での分類のための大きなマージンの価値も検討します。最悪の場合の損失 bounds を導出し、さらに、仮説が正則化リスク関数の最小化器に収束することを示します。理論を支持し、新しいアルゴリズムがオンラインの異常検知においてどれほど効果的であるかを示すいくつかの実験結果を提示します。