Generalizando a través de estímulos así como de sujetos: Un aspecto descuidado de la validez externa.

Para generalizar los resultados de un experimento más allá de los estímulos específicos empleados, es necesario considerar la varianza debido al muestreo de estímulos. Esto se puede lograr tratando los estímulos como un efecto aleatorio en lugar del procedimiento tradicional de tratarlos como un efecto fijo. Las graves consecuencias del enfoque tradicional se ilustran utilizando ejemplos de la psicología aplicada. Se discuten consideraciones estadísticas y de diseño para generalizar los resultados de los experimentos. En el diseño de la investigación psicológica, es de suma importancia poder separar los efectos de las manipulaciones experimentales de los efectos de variables externas. Inevitablemente, los sujetos poseen atributos que no son medidos, no están controlados y tienen efectos impredecibles. Sin embargo, es bien sabido que la aleatorización permite al investigador estimar la magnitud de los efectos de estas variables externas y, mediante el uso de técnicas estándar de inferencia estadística, determinar la probabilidad de que diferencias entre las condiciones tan grandes como (o más grandes que) las obtenidas ocurran si estas variables externas operaran solas. Al igual que en el caso de los sujetos, es probable que los atributos no medidos y no controlados de los estímulos afecten el resultado experimental de maneras impredecibles. El potencial para este problema existe en muchas áreas de la psicología aplicada donde los aspectos externos de los estímulos son difíciles de evaluar. Por ejemplo, considere un estudio hipotético de discriminación de sexos en el que cuatro hombres y cuatro mujeres desempeñan el papel de solicitante entrevistándose para una posición gerencial. Aunque los solicitantes leen el mismo guion, hay (inevitablemente) diferencias en aplomo, atractivo físico y estilo de presentación. Si se calificara a los solicitantes masculinos como significativamente más cualificados que a las solicitantes femeninas, ¿las solicitudes de reimpresiones deberían dirigirse a David?