Tomó más tiempo del que esperaba: ¿Por qué la búsqueda de conjuntos de datos sigue siendo tan difícil?

La búsqueda de conjuntos de datos es un problema de larga data tanto en la industria como en el mundo académico. Mientras que la mayoría de las herramientas industriales se centran en identificar uno o más conjuntos de datos que coincidan con una consulta especificada por el usuario, la mayoría de los artículos académicos recientes se centran en los problemas posteriores de descubrimiento de uniones y combinaciones para un conjunto de datos dado. En este artículo, damos un paso atrás y preguntamos: ¿es la tarea de identificar un conjunto de datos inicial realmente un problema resuelto? ¿Son el descubrimiento de uniones y combinaciones los problemas más apremiantes en los que trabajar? Para responder estas preguntas, encuestamos a 89 profesionales de datos y recopilamos los objetivos, procesos y herramientas utilizados para buscar conjuntos de datos estructurados, junto con los desafíos enfrentados al usar sistemas existentes. Descubrimos características del contenido de datos y metadatos que son más importantes para los profesionales de datos durante la búsqueda, como la granularidad y la frescura de los datos. Informados por nuestro análisis, argumentamos que la búsqueda de conjuntos de datos aún no es un problema resuelto, sino que, de hecho, es difícil de resolver. Para mover la aguja en la dirección correcta, destilamos cuatro desideratas para los futuros sistemas de búsqueda de conjuntos de datos: interfaces iterativas, consultas híbridas, búsqueda impulsada por tareas y diversidad en los resultados.