Treinamento consciente de incerteza para melhorar a calibração de modelos de aprendizado profundo na classificação de imagens de RM cardíaca

Quantificar a incerteza das previsões foi identificado como uma forma de desenvolver modelos de inteligência artificial (IA) mais confiáveis além do relato convencional de métricas de desempenho. Ao considerar seu papel em um ambiente de suporte à decisão clínica, os modelos de classificação de IA deveriam idealmente evitar previsões erradas com alta confiança e maximizar a confiança em previsões corretas. Modelos que fazem isso são considerados bem calibrados em relação à confiança. No entanto, relativamente pouca atenção foi dada a como melhorar a calibração ao treinar esses modelos, ou seja, tornar a estratégia de treinamento consciente da incerteza. Neste trabalho, nós: (i) avaliamos três novas estratégias de treinamento consciente da incerteza em relação a uma variedade de medidas de desempenho de precisão e calibração, comparando com duas abordagens de ponta, (ii) quantificamos a incerteza dos dados (aleatória) e do modelo (epistêmica) de todos os modelos e (iii) avaliamos o impacto do uso de uma medida de calibração do modelo para seleção de modelo no treinamento consciente da incerteza, em contraste com as medidas normais baseadas em precisão. Realizamos nossa análise usando duas aplicações clínicas diferentes: previsão de resposta à terapia de ressincronização cardíaca (CRT) e diagnóstico de doença arterial coronariana (DAC) a partir de imagens de ressonância magnética cardíaca (CMR). O modelo com melhor desempenho em termos de precisão de classificação e da medida de calibração mais comum, erro de calibração esperado (ECE), foi o método Confidence Weight, uma abordagem nova que pesa a perda de amostras para penalizar explicitamente previsões erradas com alta confiança. O método reduziu o ECE em 17% para a previsão de resposta à CRT e em 22% para o diagnóstico de DAC em comparação a um classificador base em que nenhuma estratégia consciente da incerteza foi incluída. Em ambas as aplicações, além de reduzir o ECE, houve um ligeiro aumento na precisão de 69% para 70% e de 70% para 72% para previsão de resposta à CRT e diagnóstico de DAC, respectivamente. No entanto, nossa análise mostrou uma falta de consistência em termos de modelos ótimos ao usar diferentes medidas de calibração. Isso indica a necessidade de uma consideração cuidadosa das métricas de desempenho ao treinar e selecionar modelos para aplicações complexas de alto risco em saúde.