Replanteando el ecosistema de investigación de recomendadores

La investigación en sistemas de recomendación se está viendo afectada por la dificultad de replicar y comparar los resultados de investigación. La investigación publicada utiliza diversas metodologías experimentales y métricas que son difíciles de comparar. También a menudo no documenta suficientemente los detalles de los algoritmos propuestos o las evaluaciones empleadas. Los investigadores pierden tiempo reimplementando algoritmos bien conocidos, y las nuevas implementaciones pueden omitir detalles clave del algoritmo original o sus posteriores refinamientos. Al proponer nuevos algoritmos, los investigadores deben compararlos con implementaciones cuidadosamente ajustadas de los algoritmos anteriores líderes utilizando metodologías de evaluación de vanguardia. Con pocas excepciones, las mejoras algorítmicas publicadas en nuestro campo deben ir acompañadas de código funcional en un marco estándar, incluidos entornos de prueba para reproducir los resultados descritos. Con ese fin, presentamos el diseño y el código fuente distribuible libremente de LensKit, una plataforma flexible para la investigación reproducible de sistemas de recomendación. LensKit proporciona implementaciones cuidadosamente ajustadas de los principales algoritmos de filtrado colaborativo, APIs para casos de uso comunes de sistemas de recomendación y un marco de evaluación para realizar evaluaciones offline reproducibles de algoritmos. Demostramos la utilidad de LensKit replicando y ampliando un conjunto de estudios comparativos previos de algoritmos de recomendación, mostrando limitaciones en algunos de los resultados originales, y investigando una pregunta recientemente planteada por un líder en la comunidad de sistemas de recomendación sobre problemas con la evaluación de predicciones basadas en errores.