Teste de múltiplas hipóteses crípticas em modelos lineares: tamanhos de efeito superestimados e a maldição do vencedor

A modelagem de modelos lineares generalizados (GLMs) com mais de um preditor tornou-se o método padrão de análise em pesquisa evolutiva e comportamental. Frequentemente, os GLMs são usados para análise exploratória de dados, onde se começa com um modelo completo complexo incluindo termos de interação e, em seguida, simplifica removendo termos não significativos. Embora essa abordagem possa ser útil, é problemática se efeitos significativos são interpretados como se surgissem de um único teste de hipótese a priori. Isso ocorre porque a seleção de modelos envolve testes de múltiplas hipóteses crípticos, um fato que raramente foi reconhecido ou quantificado. Mostramos que a probabilidade de encontrar pelo menos um efeito 'significativo' é alta, mesmo que todas as hipóteses nulas sejam verdadeiras (por exemplo, 40% ao começar com quatro preditores e suas interações de dois por dois). Essa probabilidade se aproxima das expectativas teóricas quando o tamanho da amostra (N) é grande em relação ao número de preditores incluindo interações (k). Em contraste, as taxas de erro tipo I excedem fortemente até mesmo essas expectativas quando a simplificação do modelo é aplicada a modelos que estão superajustados antes da simplificação (baixo N/k). O aumento nos resultados falso-positivos surge principalmente de uma superestimação dos tamanhos de efeito entre preditores significativos, levando a tamanhos de efeito tendenciosos para cima que muitas vezes não podem ser reproduzidos em estudos subsequentes ('a maldição do vencedor'). Apesar de seus próprios problemas, testes de modelos completos e ajustes de valor de P podem ser usados como um guia de quão frequentemente erros tipo I surgem apenas por variação de amostragem. Preferimos a apresentação de modelos completos, uma vez que refletem melhor a gama de preditores investigados e garantem uma representação equilibrada também dos resultados não significativos.