Comparando as propriedades psicométricas de listas de verificação e escalas de classificação global para avaliar o desempenho em um exame no formato OSCE

OBJETIVO: Comparar as propriedades psicométricas de listas de verificação, escalas de classificação global precedidas por uma lista de verificação e escalas de classificação global isoladamente na avaliação do desempenho de residentes em cirurgia em um exame de habilidades técnicas semelhante ao OSCE. MÉTODO: Em 1996, 53 residentes de cirurgia geral com um a seis anos de formação pós-graduada participaram de um exame baseado em desempenho de habilidades técnicas, consistindo em oito estações de 15 minutos (simulações em modelo de banco de procedimentos operatórios em cirurgia geral). Dois cirurgiões qualificados marcaram em cada estação, um utilizando uma lista de verificação específica (C) e uma escala de classificação global subsequente (Gc), o outro utilizando apenas uma escala de classificação global (G). RESULTADOS: As confiabilidades interestacionais medidas pelo alfa de Cronbach foram .79 para C, .89 para Gc e .85 para G. Uma série de regressões múltiplas prevendo o nível de formação a partir das notas do teste revelou um R2 de .584 para C sozinho, que aumentou para .711 quando Gc foi inserido depois (p .10). O R2 para Gc e G prevendo o nível de formação (.725) não foi significativamente maior do que o de Gc ou G isoladamente. Um padrão de resultados muito semelhante foi observado quando C, Gc e G foram utilizados para prever avaliações independentes dos resultados operatórios. CONCLUSÕES: As escalas de classificação global avaliadas por especialistas apresentaram maior confiabilidade inter-estacional, melhor validade construtiva e melhor validade concorrente do que as listas de verificação. Além disso, a presença das listas de verificação não melhorou a confiabilidade ou validade da escala de classificação global em relação à da escala de classificação global isolada. Esses resultados sugerem que escalas de classificação global administradas por especialistas são uma medida sumativa mais apropriada ao avaliar candidatos em exames baseados em desempenho.