Tiefes Batch-aktives Lernen durch vielfältige, unsichere Gradientenuntergrenzen

Wir entwerfen einen neuen Algorithmus für batch-aktives Lernen mit tiefen neuronalen Netzwerkmodellen. Unser Algorithmus, Batch Active learning by Diverse Gradient Embeddings (BADGE), wählt Gruppen von Punkten aus, die unterschiedlich und hochgradig sind, wenn sie in einem halluzinierten Gradientenraum dargestellt werden. Diese Strategie zielt darauf ab, sowohl prognostische Unsicherheit als auch Stichprobenvielfalt in jedes ausgewählte Batch zu integrieren. Entscheidend ist, dass BADGE einen Kompromiss zwischen Vielfalt und Unsicherheit eingeht, ohne dass handoptimierte Hyperparameter erforderlich sind. Wir zeigen, dass andere Ansätze manchmal für bestimmte Batchgrößen oder Architekturen erfolgreich sind, aber BADGE konstant gleich gut oder besser abschneidet, was es zu einer vielseitigen Option für praktische aktive Lernprobleme macht.