データサイエンティストのための予測評価：一般的な落とし穴とベストプラクティス

機械学習（ML）および特に深層学習（DL）分野の最近の動向は、大量の時系列データの利用可能性により、MLおよびDL技術が時系列予測において競争力があることを示しています。それにもかかわらず、時系列に関連するさまざまな非定常性の形態は、データ駆動型のMLモデルの能力に挑戦します。さらに、予測の分野は長年にわたり主に統計学者や計量経済学者によって育まれてきたため、予測評価に関連する概念はML研究者の主流知識とは言えません。我々は、ML研究者がしばしば欠陥のある評価プラクティスを採用し、その結果として、実際には競争力がない手法を見かけ上競争力のあるものとして示唆する虚偽の結論を導くことを示します。したがって、本研究では、予測評価に関連する詳細のチュートリアルのようなまとめを提供します。このようにして、我々は伝統的な予測方法と現行の最先端のML技術の間の知識のギャップを埋める手段として、MLの文脈に合った予測評価に関連する情報を提供することを意図しています。時系列の非正規性や非定常性などのさまざまな問題的特性の詳細と、それらが予測評価における一般的な落とし穴にどのように関連しているかについて詳述します。データの分割、エラー計算、統計的検定などのさまざまなステップに関して、予測評価におけるベストプラクティスが概説されます。また、データセットの特性に応じて、妥当で適切なエラーメトリックを選定するためのさらなるガイドラインも提供されます。