Minería de Comentarios Con TF-IDF: El Sesgo Inherente y Su Eliminación

La minería de textos ha ganado gran impulso en los últimos años, con contenido generado por usuarios volviéndose ampliamente disponible. Un uso clave es la minería de comentarios, con mucha atención prestada al análisis de sentimientos y la minería de opiniones. Un paso esencial en el proceso de minería de comentarios es el pre-procesamiento del texto; un paso en el que a cada término lingüístico se le asigna un peso que comúnmente aumenta con su aparición en el texto estudiado, pero que se compensa con la frecuencia del término en el dominio de interés. Una práctica común es utilizar la conocida fórmula tf-idf para calcular estos pesos. Este documento revela el sesgo introducido por el discurso entre participantes en el estudio de comentarios en redes sociales y propone un ajuste. Encontramos que el contenido extraído del discurso a menudo está altamente correlacionado, resultando en estructuras de dependencia entre observaciones en el estudio, introduciendo así un sesgo estadístico. Ignorar este sesgo puede manifestarse en un análisis no robusto en el mejor de los casos y puede llevar a una conclusión completamente errónea en el peor de los casos. Proponemos un ajuste al tf-idf que tenga en cuenta este sesgo. Ilustramos los efectos tanto del sesgo como de la corrección con datos de siete páginas de fans de Facebook, cubriendo diferentes dominios, incluyendo noticias, finanzas, política, deportes, compras y entretenimiento.