Uma Investigação da Validade de uma Abordagem Bayesiana Empírica para Análise de Dif Mantel-Haenszel

RESUMO Investigamos a utilidade de um aprimoramento bayesiano empírico (EB) na análise DIF de Mantel-Haenszel (MH). Assumimos que as estatísticas MH são normalmente distribuídas e que a distribuição prévia dos parâmetros DIF subjacentes também é normal. Usamos a distribuição posterior dos parâmetros DIF para fazer inferências sobre o verdadeiro status DIF do item (o método True DIF) e a distribuição preditiva posterior para prever o status observado futuro do item (o método Future DIF). O status DIF é expresso em termos das probabilidades associadas a cada um dos cinco níveis DIF definidos pelo sistema de classificação ETS: C-, B-, A, B+ e C+. Os métodos propostos têm várias possíveis vantagens. Primeiro, o uso de informações prévias permite uma estimativa DIF mais estável, especialmente em amostras pequenas - uma característica que deve ser vantajosa em testes adaptativos por computador. A abordagem EB pode transmitir informações sobre a estabilidade do DIF de uma forma mais útil. Os resultados representam o estado do conhecimento sobre o verdadeiro status DIF de um item de forma probabilística, não determinística. Os resultados DIF EB se prestam bem à exibição gráfica, o que pode ser útil para transmitir descobertas a desenvolvedores de testes e comitês de DIF. Além disso, os resultados podem ser projetados para condições de administração futuras que podem diferir das atuais. Como um método alternativo de sinalização de DIF, também investigamos o uso de uma função de perda para identificar itens DIF potenciais; essa abordagem é muito geral e não está vinculada ao sistema de classificação DIF ETS. Uma possível vantagem do procedimento de função de perda sobre o sistema de classificação ETS é sua maior flexibilidade.