Precisão-Recall versus Acuidade e o Papel de Grandes Conjuntos de Dados

Profissionais de mineração de dados e aprendizado de máquina há muito observam que o desequilíbrio de classes em um conjunto de dados impacta negativamente a qualidade dos classificadores treinados com esses dados. Diversas técnicas para lidar com tais desequilíbrios foram propostas, mas quase todas carecem de fundamentos teóricos. Em contraste, a análise teórica padrão do aprendizado de máquina não admite nenhuma dependência do desequilíbrio de classes. Os teoremas básicos do aprendizado estatístico estabelecem o número de exemplos necessários para estimar a acurácia de um classificador como uma função de sua complexidade (dimensão VC) e a confiança desejada; o desequilíbrio de classes não entra nessas fórmulas em nenhum lugar. Neste trabalho, consideramos as medidas de desempenho do classificador em termos de precisão e recall, uma medida que é amplamente sugerida como mais apropriada para a classificação de dados desequilibrados. Observamos que sempre que a precisão é moderadamente alta, o pior entre a precisão e o recall está dentro de um pequeno fator constante da acurácia ponderada pelo desequilíbrio de classes. Um corolário dessa observação é que um número maior de exemplos é necessário e suficiente para abordar o desequilíbrio de classes, uma descoberta que também ilustramos empiricamente.