GBDT-MO : Arbres de décision à gradient boosting pour plusieurs sorties

Les arbres de décision à gradient boosting (GBDT) sont largement utilisés en apprentissage automatique, et la sortie des implémentations GBDT actuelles est une seule variable. Lorsqu'il y a plusieurs sorties, le GBDT construit plusieurs arbres correspondant aux variables de sortie. Les corrélations entre les variables sont ignorées par une telle stratégie, ce qui entraîne une redondance des structures d'arbres apprises. Dans cet article, nous proposons une méthode générale pour apprendre le GBDT pour plusieurs sorties, appelée GBDT-MO. Chaque feuille de GBDT-MO construit des prédictions de toutes les variables ou d'un sous-ensemble de variables sélectionnées automatiquement. Cela est réalisé en considérant la somme des gains objectifs sur toutes les variables de sortie. De plus, nous étendons l'approximation d'histogramme au cas des multiples sorties pour accélérer l'entraînement. Diverses expériences sur des ensembles de données synthétiques et réelles vérifient que GBDT-MO atteint des performances exceptionnelles en termes de précision, de vitesse d'entraînement et de vitesse d'inférence.