Polyhistor: Parameter-effiziente Multi-Task-Anpassung für dichte Vision-Aufgaben

Die Anpassung großangelegter vortrainierter Modelle an verschiedene nachgelagerte Aufgaben durch Feinabstimmung ist eine gängige Methode im maschinellen Lernen. Kürzlich zeigten parameter-effiziente Feinabstimmungsverfahren vielversprechende Ergebnisse bei der Anpassung eines vortrainierten Modells an verschiedene Aufgaben, während nur wenige Parameter trainiert werden. Trotz ihres Erfolgs werden die meisten bestehenden Methoden in Aufgaben der natürlichen Sprachverarbeitung mit Sprach-Transformern vorgeschlagen, und die Anpassung an Aufgaben der Computer Vision mit Vision-Transformern bleibt untererforscht, insbesondere bei dichten Vision-Aufgaben. Darüber hinaus ist es in Multi-Task-Einstellungen ineffizient, separate Modelle für verschiedene Aufgaben individuell zu verfeinern und zu speichern. In dieser Arbeit bieten wir einen umfassenden Multi-Task-parameter-effizienten Benchmark an und prüfen bestehende parameter-effiziente Feinabstimmungsverfahren der NLP für Vision-Aufgaben. Unsere Ergebnisse zu vier unterschiedlichen dichten Vision-Aufgaben zeigten, dass bestehende Methoden aufgrund der hierarchischen Natur der Hierarchical Vision Transformers nicht effizient integriert werden können. Um dieses Problem zu überwinden, schlagen wir Polyhistor und Polyhistor-Lite vor, die aus Decomposed HyperNetworks und Layer-wise Scaling Kernels bestehen, um Informationen über verschiedene Aufgaben mit wenigen trainierbaren Parametern auszutauschen. Dies führt zu vorteilhaften Leistungsverbesserungen im Vergleich zu bestehenden parameter-effizienten Methoden bei Verwendung weniger trainierbarer Parameter. Insbesondere erreicht Polyhistor eine konkurrenzfähige Genauigkeit im Vergleich zum Stand der Technik, während nur ~10% ihrer trainierbaren Parameter verwendet werden. Darüber hinaus zeigen unsere Methoden größere Leistungsgewinne, wenn große Netzwerke und mehr Pretraining-Daten verwendet werden.