Selective Mixup Fine-Tuning zur Optimierung nicht-dekomponierbarer Ziele

Der Anstieg der Internetnutzung hat zur Generierung massiver Datenmengen geführt, was die Annahme verschiedener überwachter und semi-überwachter Machine-Learning-Algorithmen zur Folge hatte, die die enormen Datenmengen effektiv zur Modellschulung nutzen können. Bevor diese Modelle jedoch in der realen Welt eingesetzt werden können, müssen sie streng auf Leistungsmaße wie Worst-Case-Rückruf bewertet und müssen Einschränkungen wie Fairness erfüllen. Wir stellen fest, dass die aktuellen hochmodernen empirischen Techniken eine suboptimale Leistung bei diesen praktischen, nicht-dekomponierbaren Leistungszielen bieten. Andererseits erfordern die theoretischen Techniken die Schulung eines neuen Modells von Grund auf für jedes Leistungsziel. Um die Lücke zu schließen, schlagen wir SelMix vor, eine selektive mixup-basierte, kostengünstige Feinabstimmungstechnik für vortrainierte Modelle, um das gewünschte Ziel zu optimieren. Die Kernidee unseres Rahmens ist es, eine Sampling-Verteilung zu bestimmen, um eine Mixup von Merkmalen zwischen Proben aus bestimmten Klassen durchzuführen, sodass das gegebene Ziel optimiert wird. Wir evaluieren unsere Technik umfassend im Vergleich zu bestehenden empirischen und theoretisch fundierten Methoden auf standardisierten Benchmark-Datensätzen für unausgewogene Klassifikation. Wir stellen fest, dass die vorgeschlagene SelMix-Fine-Tuning-Technik die Leistung für verschiedene praktische nicht-dekomponierbare Ziele über die Benchmarks hinweg erheblich verbessert.