Propriedades de Estimativa de Performance de Protocolos Baseados em Validação Cruzada com Otimização Simultânea de Hiperparâmetros

Em uma tarefa típica de análise de dados supervisionada, é necessário realizar as seguintes duas tarefas: (a) selecionar uma combinação ideal de métodos de aprendizado (por exemplo, para seleção de variáveis e classificador) e ajustar seus hiperparâmetros (por exemplo, K em K-NN), também chamada de seleção de modelo, e (b) fornecer uma estimativa da performance do modelo final reportado. Combinar as duas tarefas não é trivial, pois quando se seleciona o conjunto de hiperparâmetros que parecem fornecer a melhor performance estimada, essa estimativa é otimista (tendenciosa/sobreajustada) devido à realização de múlticas comparações estatísticas. Neste artigo, discutimos as propriedades teóricas da estimativa de performance quando a seleção de modelo está presente e confirmamos que a simples Validação Cruzada com seleção de modelo é, de fato, otimista (superestima a performance) em cenários de pequenas amostras e deve ser evitada. Apresentamos em detalhes e investigamos as propriedades teóricas da Validação Cruzada Aninhada e um método de Tibshirani e Tibshirani para remover o viés de estimativa. Em experimentos computacionais com conjuntos de dados reais, ambos os protocolos fornecem estimativas conservadoras de performance e devem ser preferidos. Essas afirmações permanecem verdadeiras mesmo se a seleção de características for realizada como pré-processamento.