Eventos por variável (EPV) e o desempenho relativo de diferentes estratégias para estimar a validade fora da amostra de modelos de regressão logística

Realizamos um extenso conjunto de análises empíricas para examinar o efeito do número de eventos por variável (EPV) no desempenho relativo de três métodos diferentes para avaliar a acurácia preditiva de um modelo de regressão logística: desempenho aparente na amostra de análise, validação de amostra dividida e correção de otimismo usando métodos bootstrap. Usando um único conjunto de dados de pacientes hospitalizados com insuficiência cardíaca, comparamos as estimativas de desempenho discriminatório desses métodos com aquelas para uma amostra de validação independente muito grande advinda da mesma população. Como esperado, o desempenho aparente foi otimisticamente enviesado, com o grau de otimismo diminuindo à medida que o número de eventos por variável aumentava. As diferenças entre a abordagem corrigida por bootstrap e o uso de uma amostra de validação independente foram mínimas uma vez que o número de eventos por variável era pelo menos 20. A avaliação de amostra dividida resultou em estimativas do desempenho do modelo muito pessimistas e altamente incertas. As estimativas de desempenho aparente tiveram menor erro quadrático médio em comparação com as estimativas da amostra dividida, mas o menor erro quadrático médio foi obtido pelas estimativas de otimismo corrigidas por bootstrap. Para viés, variância e erro quadrático médio das estimativas de desempenho, a penalidade incorrida pelo uso da validação de amostra dividida foi equivalente à redução do tamanho da amostra por uma proporção equivalente à proporção da amostra que foi retida para validação do modelo. Em conclusão, a validação de amostra dividida é ineficiente e o desempenho aparente é otimista demais para a validação interna de modelos de previsão baseados em regressão. Métodos de validação modernos, como a correção de otimismo baseada em bootstrap, são preferíveis. Embora esses achados possam não surpreender muitos estatísticos, os resultados do estudo atual reforçam o que deve ser considerado uma boa prática estatística no desenvolvimento e validação de modelos de previsão clínica.