Validação estatística de múltiplos classificadores em múltiplos conjuntos de dados no campo do reconhecimento de padrões

A classificação é uma técnica de aprendizado de máquina que é usada para categorizar os diferentes padrões de entrada em diferentes classes. Selecionar o melhor classificador para um determinado conjunto de dados é uma das questões críticas na classificação de padrões. Usando uma abordagem de validação cruzada, é possível aplicar algoritmos candidatos em um determinado conjunto de dados e o melhor classificador é selecionado considerando várias medidas de avaliação da classificação. Mas o custo computacional associado a essa abordagem é trivial por natureza. Há muitos testes descritos na literatura, mas eles são especificamente usados em conjuntos de dados diferentes e não relacionados. No entanto, no domínio do reconhecimento de padrões, os conjuntos de dados são extraídos das mesmas amostras de teste e, portanto, estão relacionados por natureza. Neste artigo, propomos o uso de dois testes não paramétricos, a saber, o teste U de Mann-Whitney para comparação de dois classificadores e o teste H de Kruskal-Wallis com os testes post-hoc correspondentes para comparação de múltiplos classificadores em múltiplos conjuntos de dados. Os testes foram aplicados com sucesso nos conjuntos de dados do problema de reconhecimento de dígitos manuscritos retirados do Repositório de Banco de Dados de Aprendizado de Máquina UCI (http://www.ics.uci.edu/~mlearn). Os resultados mostram que ambos os testes fornecem uma solução melhor do que os testes propostos anteriormente.