Key points are not available for this paper at this time.
La performance des algorithmes d'apprentissage automatique dépend de manière critique de l'identification d'un bon ensemble d'hyperparamètres. Alors que les approches récentes utilisent l'optimisation bayésienne pour sélectionner de manière adaptative des configurations, nous nous concentrons sur l'accélération de la recherche aléatoire grâce à une allocation de ressources adaptative et un arrêt précoce. Nous formulons l'optimisation des hyperparamètres comme un problème de bandit à bras infinis non stochastique d'exploration pure où une ressource prédéfinie comme les itérations, les échantillons de données ou les caractéristiques est allouée à des configurations échantillonnées au hasard. Nous introduisons un nouvel algorithme, Hyperband, pour ce cadre et analysons ses propriétés théoriques, fournissant plusieurs garanties souhaitables. De plus, nous comparons Hyperband avec des méthodes d'optimisation bayésienne populaires sur un ensemble de problèmes d'optimisation des hyperparamètres. Nous observons qu'Hyperband peut fournir un gain de vitesse d'un ordre de grandeur par rapport à notre ensemble de concurrents sur une variété de problèmes d'apprentissage profond et d'apprentissage basé sur des noyaux.
Li et al. (Mon,) ont étudié cette question.