Identificação de parâmetros para exames eletrônicos à distância

Introdução Este estudo investiga os dados de registro e o comportamento de resposta em exames eletrônicos cronometrados presenciais, monitorados na Universidade de Medicina Veterinária de Hannover, Fundação, Alemanha. O foco principal é entender como vários fatores influenciam o tempo necessário por item de exame, incluindo formato do item, dificuldade do item, discriminação de itens e contagem de caracteres. O objetivo era usar esses resultados para derivar recomendações para o design de exames online cronometrados, um formato de exame que se tornou cada vez mais importante nos últimos anos. Métodos Dados de 216.625 entradas de registro de cinco exames eletrônicos, realizados por um total de 1.241 estudantes de medicina veterinária em 2021 e 2022, foram analisados. Vários métodos estatísticos foram empregados para avaliar as correlações entre os parâmetros registrados. Resultados A análise revelou que diferentes formatos de item requerem diferentes quantidades de tempo. Por exemplo, formatos de perguntas baseadas em imagens e Kprim exigiram mais de 60 s por item, enquanto perguntas de múltipla escolha (MCQs) com uma melhor resposta e itens de Função Chave individuais foram efetivamente completados em menos de 60 s. Além disso, houve uma correlação positiva entre a contagem de caracteres e o tempo de resposta, sugerindo que itens mais longos requerem mais tempo. Uma correlação negativa pôde ser verificada para os parâmetros “dificuldade” e “índice de discriminação” em relação ao tempo de resposta, indicando que itens mais desafiadores e aqueles que têm menor capacidade de diferenciar entre estudantes de alto e baixo desempenho demoram mais para serem respondidos. Conclusão Os achados destacam a necessidade de consideração cuidadosa da proporção de formatos de itens ao definir limites de tempo para exames. Com relação ao design do exame, a literatura menciona que a pressão do tempo é um fator crítico, uma vez que pode impactar negativamente o desempenho dos estudantes nos exames, e alguns estudantes, como aqueles com deficiências, são particularmente desfavorecidos. Portanto, este estudo enfatiza a necessidade de encontrar os limites de tempo adequados para proporcionar tempo suficiente para responder às perguntas e reduzir a pressão do tempo. No contexto de exames online não supervisionados, os achados deste estudo suportam recomendações anteriores de que a implementação de um limite de tempo rigoroso pode ser uma estratégia útil para reduzir a trapaça.