Obtendo Probabilidades Calibradas a partir do Boosting

As árvores de decisão aumentadas geralmente apresentam boa precisão, exatidão e área ROC. No entanto, como as saídas do boosting não são probabilidades posteriores bem calibradas, o boosting resulta em um erro quadrático e entropia cruzada insatisfatórios. Demonstramos empiricamente por que o AdaBoost prevê probabilidades distorcidas e examinamos três métodos de calibração para corrigir essa distorção: Platt Scaling, Regressão Isotônica e Correção Logística. Também experimentamos com boosting usando log-loss em vez da perda exponencial usual. Experimentos mostram que a Correção Logística e o boosting com log-loss funcionam bem ao aumentar modelos fracos, como os tocos de decisão, mas apresentam desempenho ruim ao aumentar modelos mais complexos, como árvores de decisão completas. No entanto, Platt Scaling e Regressão Isotônica melhoram significativamente as probabilidades previstas por