Casi un Experto

La retroalimentación de expertos es valiosa pero difícil de obtener para muchos diseñadores. Las multitudes en línea pueden proporcionar retroalimentación rápida y asequible, pero los trabajadores pueden carecer de conocimientos y experiencia relevantes en el dominio. ¿Pueden las rúbricas de expertos abordar este problema y ayudar a los novatos a proporcionar retroalimentación a nivel de experto? Para evaluar esto, realizamos un experimento con un diseño factorial 2x2. Los diseñadores estudiantes recibieron retroalimentación sobre un diseño visual tanto de expertos como de novatos, quienes produjeron retroalimentación utilizando una rúbrica de expertos o sin rúbrica. Encontramos que las rúbricas ayudaron a los trabajadores novatos a proporcionar retroalimentación que fue calificada casi tan valiosa como la retroalimentación de expertos. Un análisis de seguimiento sobre el estilo de escritura mostró que los diseñadores estudiantes encontraron la retroalimentación más útil cuando era emocionalmente positiva y específica, y que una rúbrica aumentó la ocurrencia de estas características en la retroalimentación. El análisis también encontró que la experiencia se correlacionaba con críticas más largas, pero no con las otras características favorables. Una evaluación informal indica que los expertos pueden haber generado valor al proporcionar justificaciones más claras.