¿Se puede confiar en la inteligencia artificial de las plataformas de escucha en redes sociales? Examinando la precisión de los análisis impulsados por IA de Crimson Hexagon (ahora Brandwatch Consumer Research)

Los profesionales y académicos utilizan cada vez más plataformas de escucha en redes sociales (SMLPs) impulsadas por inteligencia artificial (IA) para extraer conocimientos prácticos de grandes cantidades de datos de redes sociales que informan las preguntas de investigación y la estrategia de marca. Debido a su naturaleza propietaria, las herramientas de IA dentro de las SMLPs son "cajas negras" que obligan a los usuarios a aceptar resultados con fe ciega, lo que genera preocupación en la industria y la academia. Este estudio busca proporcionar una mayor comprensión de las fortalezas y debilidades de las SMLPs al evaluar los resultados basados en IA de la destacada SMLP Crimson Hexagon (ahora Brandwatch Consumer Research) en comparación con un análisis estándar de contenido humano y un análisis realizado utilizando Linguistic Inquiry and Word Count (LIWC). Al analizar una muestra aleatoria de 10,000 publicaciones de la conversación en torno al anuncio "Dream Crazy" de Nike que presenta a Colin Kaepernick, los hallazgos revelan que las herramientas de IA de Crimson Hexagon son lamentablemente poco fiables en términos de identificación de marca, así como en la detección de la polaridad del sentimiento de las publicaciones y de la marca, emociones específicas y resultados de marca, lo que demuestra los peligros de confiar ciegamente en las conclusiones extraídas de plataformas de escucha en redes sociales de caja negra. Los hallazgos destacan la necesidad de que los investigadores examinen la documentación del algoritmo y los conjuntos de datos de entrenamiento, así como evalúen los datos generados por IA antes de utilizarlos en modelos de investigación y decisiones.