Evaluación Activa de Clasificadores en Grandes Conjuntos de Datos

El objetivo de este trabajo es estimar la precisión de un clasificador en un gran conjunto de datos no etiquetados basado en un pequeño conjunto etiquetado y un etiquetador humano. Buscamos estimar la precisión y seleccionar instancias para etiquetar en un bucle a través de una estrategia de muestreo estratificado continuamente refinada. Para estratificar los datos, desarrollamos una nueva estrategia de aprendizaje de funciones hash de r bits para preservar la similitud en los valores de precisión. Mostramos que nuestro algoritmo proporciona mejores estimaciones de precisión que los métodos existentes para aprender funciones hash que preservan la distancia. Experimentos en un amplio espectro de conjuntos de datos reales muestran que nuestras estimaciones logran una reducción relativa de error entre el 15% y el 62% en comparación con enfoques existentes. Mostramos cómo realizar muestreo estratificado en datos no etiquetados que son tan grandes que en un entorno interactivo incluso un solo escaneo secuencial es poco práctico. Presentamos un algoritmo óptimo para realizar muestreo de importancia en un índice estático sobre los datos que logra estimaciones cercanas a exactas mientras lee tres órdenes de magnitud menos datos.