Quão adequados são os vignettes clínicos para a avaliação de aplicativos de verificação de sintomas? Uma perspectiva teórica do teste

Objetivo: Avaliar a capacidade dos vignettes de caso para avaliar o desempenho de aplicativos de verificação de sintomas e sugerir refinamentos à metodologia usada em estudos de auditoria baseados em vignettes de caso. Métodos: Reanalisamos os dados publicamente disponíveis de dois proeminentes estudos de auditoria de verificação de sintomas baseados em vignettes de caso, calculando métricas comuns da teoria do teste. Além disso, desenvolvemos uma nova métrica, o Índice de Comparação de Capacidade (CCS), que compara a capacidade de verificação de sintomas enquanto controla a dificuldade do conjunto de casos avaliados por cada verificador de sintomas. Em seguida, examinamos se a aplicação da teoria do teste e do CCS alterou a classificação de desempenho dos verificadores de sintomas investigados. Resultados: Em ambos os estudos, a maioria dos verificadores de sintomas mudou sua ordem de classificação ao ajustar a capacidade de triagem para a dificuldade do item (ID) com o CCS. As precisões de triagem previamente relatadas geralmente superestimaram a capacidade dos verificadores de sintomas porque não levaram em conta o fato de que os verificadores tendem a avaliar seletivamente casos mais fáceis (ou seja, com altos valores de ID). Além disso, muitos vignettes de caso em ambos os estudos mostraram valores insuficientes (muito baixos e até negativos) de correlação item-total (ITC), sugerindo que itens individuais ou a composição dos conjuntos de itens são de baixa qualidade. Conclusões: Uma perspectiva teórica do teste ajuda a identificar ameaças anteriormente indetectadas à validade das avaliações de verificadores de sintomas baseadas em vignettes de caso e fornece orientações e métricas específicas para melhorar a qualidade dos vignettes de caso, em particular controlando a dificuldade dos vignettes que um aplicativo foi (não) capaz de avaliar corretamente. Essas medidas podem se mostrar mais significativas do que a precisão sozinha para a avaliação competitiva dos verificadores de sintomas. Nossa abordagem ajuda a elaborar e padronizar a metodologia usada para avaliar a capacidade de verificação de sintomas, o que, em última análise, pode resultar em resultados mais confiáveis.