Avaliando as diferenças práticas entre métodos de seleção de modelos em inferências sobre tarefas de tempo de resposta de escolha

Modelos de acumulação de evidências (EAMs) tornaram-se a estrutura de modelagem dominante em tomada de decisão rápida, usando distribuições de tempo de resposta de escolha para fazer inferências sobre o processo de decisão subjacente. Esses modelos são frequentemente aplicados a dados empíricos como "ferramentas de medição", com diferentes explicações teóricas sendo contrastadas dentro do quadro do modelo. Algum método é então necessário para decidir entre essas explicações teóricas concorrentes, uma vez que apenas avaliar os modelos com base em sua capacidade de se ajustar às tendências nos dados empíricos ignora a flexibilidade do modelo e, portanto, cria um viés em favor de modelos mais flexíveis. No entanto, não existe um método objetivamente ótimo para selecionar entre modelos, com métodos variando tanto em sua viabilidade computacional quanto em sua base teórica. Forneço uma comparação sistemática entre nove diferentes métodos de seleção de modelos usando um EAM popular - o acumulador balístico linear (LBA; Brown & Heathcote, Cognitive Psychology 57(3), 153-178 2008) - em um estudo de simulação de grande escala e nos dados empíricos de Dutilh et al. (Psychonomic Bulletin and Review, 1-19 2018). Descobri que a classe de métodos de "acurácia preditiva" (ou seja, o Critério de Informação de Akaike AIC, o Critério de Informação de Deviância DIC e o Critério de Informação Amplamente Aplicável WAIC) faz inferências diferentes da classe de métodos do "fator de Bayes" (ou seja, o Critério de Informação Bayesiano BIC e fatores de Bayes) em muitos, mas não todos, os casos, e que os métodos mais simples (ou seja, AIC e BIC) fazem inferências que são altamente consistentes com seus equivalentes mais complexos. Essas descobertas sugerem que os pesquisadores deveriam ser capazes de usar métodos mais simples de "contagem de parâmetros" ao aplicar o LBA e ter confiança em suas inferências, mas que os pesquisadores precisam considerar e justificar cuidadosamente a classe geral de método de seleção de modelo que usam, uma vez que diferentes classes de métodos frequentemente resultam em inferências diferentes.