Key points are not available for this paper at this time.
OBJETIVOS: Avaliar o viés de desempenho causado pela amostragem de dados em conjuntos de treinamento e teste em um estudo de radiômica de mamografia. MÉTODOS: Mamografias de 700 mulheres foram utilizadas para estudar a realocação do carcinoma ductal in situ. O conjunto de dados foi repetidamente embaralhado e dividido em casos de treinamento (n = 400) e teste (n = 300) quarenta vezes. Para cada divisão, a validação cruzada foi usada para o treinamento, seguida por uma avaliação do conjunto de teste. Regressão logística com regularização e máquinas de vetor de suporte foram usadas como os classificadores de aprendizado de máquina. Para cada divisão e tipo de classificador, múltiplos modelos foram criados com base em características radiômicas e/ou clínicas. RESULTADOS: O desempenho da área sob a curva (AUC) variou consideravelmente entre as diferentes divisões de dados (por exemplo, modelo de regressão radiômica: treino 0,58-0,70, teste 0,59-0,73). As performances para os modelos de regressão mostraram um trade-off onde um melhor treinamento levou a um pior teste e vice-versa. A validação cruzada em todos os casos reduziu essa variabilidade, mas exigiu amostras de 500+ casos para fornecer estimativas representativas de desempenho. CONCLUSÕES: Em imagens médicas, conjuntos de dados clínicos são frequentemente limitados a tamanhos relativamente pequenos. Modelos construídos a partir de diferentes conjuntos de treinamento podem não ser representativos de todo o conjunto de dados. Dependendo da divisão de dados selecionada e do modelo, o viés de desempenho pode levar a conclusões inadequadas que podem influenciar a significância clínica das descobertas. AVANÇOS NO CONHECIMENTO: O viés de desempenho pode resultar de testes de modelo ao usar conjuntos de dados limitados. Estratégias ideais para seleção do conjunto de teste devem ser desenvolvidas para garantir que as conclusões do estudo sejam apropriadas.
Hou et al. (Quarta,) estudaram essa questão.