A Incompletude dos Modelos de Probabilidade e as Implicações Resultantes para as Teorias da Inferência Estatística

Argumenta-se que os testes estatísticos têm sido supervalorizados porque são percebidos como um método ótimo, objetivo e algorítmico de teste de hipóteses. Os pesquisadores precisam estar cientes da natureza subjetiva da inferência estatística para não dar demasiada importância a isso. Exemplos são dados de aspectos dos dados que são ignorados no cálculo dos valores de p, mas que são relevantes para sua interpretação. Estes incluem o ajuste da distribuição de probabilidades, a presença de pontos influentes, as possibilidades de seletividade post hoc, a presença de tendências esperadas e inesperadas nos dados, e a quantidade de variabilidade amostral que está presente. Os pesquisadores devem ser ensinados que, embora o raciocínio probabilístico seja um processo dedutivo, fazer inferências a partir de dados não é. Sempre há informações potencialmente relevantes disponíveis além daquelas que foram levadas em conta por qualquer valor de p. De fato, observa-se que uma probabilidade nunca pode caracterizar toda a incerteza em relação a um evento devido a problemas de auto-referência. As teorias de inferência estatística precisam ser enfraquecidas para levar essas ideias em conta. Os testes estatísticos avaliam a implausibilidade de supor que o sinal de uma diferença pode ser explicado como devido a erro de amostragem e funcionam apenas na medida em que essa implausibilidade pode ser inferida a partir do tamanho da estatística do teste. O processo de inferir plausibilidade é subjetivo e é inconsistente com a Teoria de Neyman-Pearson de testes estatísticos e a noção de testes estatísticos fiduciais de Fisher. Probabilidades precisam ser avaliadas no contexto do que levaram e não levaram em conta, e isso enfraquece as inferências estatísticas bayesianas, assim como as clássicas.