Skalierbare Bewertung und neuronale Modelle für kompositionale Generalisierung

Kompositionale Generalisierung - eine Schlüsselherausforderung in modernem maschinellen Lernen - erfordert Modelle, die unbekannte Kombinationen bekannter Konzepte vorhersagen. Dennoch bleibt die Bewertung der kompositionalen Generalisierung aufgrund des Fehlens standardisierter Evaluationsprotokolle und der Einschränkungen aktueller Benchmarks, die oft Effizienz über Striktheit stellen, eine fundamentale Herausforderung. Gleichzeitig fehlen allgemeinen Vision-Architekturen die notwendigen induktiven Verzerrungen, und bestehende Ansätze, sie auszustatten, kompromittieren die Skalierbarkeit. Als Abhilfe führt dieses Papier ein: 1) ein rigoroses Bewertungsrahmenwerk, das frühere Ansätze vereinheitlicht und erweitert, während die Rechenanforderungen von kombinatorisch zu konstant reduziert werden; 2) eine umfassende und moderne Bewertung des Status der kompositionalen Generalisierung in überwachten Vision-Basismodellen, die mehr als 5000 Modelle trainiert; 3) Attribut-Invariante Netzwerke, eine Modellklasse, die eine neue Pareto-Grenze in der kompositionalen Generalisierung etabliert und eine Genauigkeitsverbesserung um 23,43 % gegenüber den Baselines erzielt, während der Parameteraufwand von 600 % auf 16 % im Vergleich zu vollständig entkoppelten Gegenstücken reduziert wird. Unser Code ist verfügbar unter https://github.com/IBM/scalable-compositional-generalization.