Stratégies de base pour améliorer l'optimisation bayésienne pour le réglage des hyperparamètres des réseaux neuronaux profonds

Comparés aux modèles de machine learning traditionnels, les réseaux neuronaux profonds (DNN) sont connus pour être très sensibles au choix des hyperparamètres. Bien que le temps et les efforts nécessaires pour le réglage manuel aient rapidement diminué pour les architectures DNN bien développées et couramment utilisées, il ne fait aucun doute que l'optimisation des hyperparamètres DNN continuera à être une charge majeure chaque fois qu'une nouvelle architecture DNN doit être conçue, qu'une nouvelle tâche doit être résolue, qu'un nouveau jeu de données doit être abordé ou qu'un DNN existant doit être amélioré davantage. Pour l'optimisation des hyperparamètres des problèmes généraux de machine learning, de nombreuses solutions automatisées ont été développées, dont certaines des solutions les plus populaires sont basées sur l'optimisation bayésienne (BO). Dans cet article, nous analysons quatre stratégies fondamentales pour renforcer la BO lorsqu'elle est utilisée pour l'optimisation des hyperparamètres des DNN. Plus précisément, la diversification, l'arrêt précoce, la parallélisation et la transformation de la fonction de coût sont étudiés. Sur la base de cette analyse, nous proposons un algorithme simple mais robuste pour l'optimisation des hyperparamètres DNN - DEEP-BO (Optimisation bayésienne diversifiée, habilitée pour l'arrêt précoce et parallèle). Lorsqu'il est évalué sur six benchmarks DNN, DEEP-BO a principalement surpassé des solutions bien connues, y compris GP-Hedge, BOHB et les variantes d'accélération utilisant la règle d'arrêt médiane ou l'extrapolation de courbe d'apprentissage. En fait, DEEP-BO a systématiquement fourni les meilleures performances, ou du moins proches des meilleures, sur tous les types de benchmarks que nous avons testés. Cela indique que DEEP-BO est une solution robuste par rapport aux solutions existantes. Le code DEEP-BO est disponible publiquement sur https://github.com/snu-adsl/DEEP-BO.