凸性、分類、リスクバウンド

サポートベクターマシンやブースティングを含む機械学習文献で開発された多くの分類アルゴリズムは、0–1損失関数の凸近似を最小化する最小コントラスト手法として見ることができます。凸性により、これらのアルゴリズムは計算効率が高くなります。ただし、近似の使用には統計的な影響があり、凸性の計算上の利点とのバランスを取る必要があります。これらの問題を研究するために、私たちは0–1損失を用いて評価されたリスクと、任意の非負近似損失関数を用いて評価されたリスクとの一般的な定量的関係を提供します。この関係は、損失関数が分類のためのフィッシャーの整合性の点wise形式を満たすという最弱の条件の下で余剰リスクに対する非自明な上限を与えることを示しています。この関係は、多くのアプリケーションで計算が容易な損失関数の単純な変分変換に基づいています。また、低ノイズの場合にこの結果の洗練されたバージョンを提示し、この場合、厳密に凸な損失関数が標準的な一様収束論法によって示されるよりもリスクの収束速度を速めることを示します。最後に、有限次元のベースクラスのスケールされた凸包を持つ関数クラスにおける収束速度の推定への私たちの結果の応用を提示し、さまざまな一般的に使用される損失関数を考慮します。