SAMSA: Effizienter Transformer für viele Datenmodalitäten

Die Vielseitigkeit des Selbstaufmerksamkeitsmechanismus hat Transformatoren großen Erfolg in fast allen Datenmodalitäten eingebracht, jedoch mit Einschränkungen hinsichtlich der quadratischen Komplexität und der Schwierigkeiten beim Training. Effiziente Transformatoren hingegen verlassen sich oft auf clevere, datenmodalitätsabhängige Konstruktionen, um die quadratische Komplexität der Transformatoren zu überwinden. Dies hindert ihre Anwendung in verschiedenen Datenmodalitäten, die eine der Säulen der zeitgenössischen Grundlagenmodellierung ist. In diesem Papier legen wir das Fundament für effiziente Grundlagenmodellierung, indem wir SAMSA - SAMpling-Self-Attention vorschlagen, einen kontextbewussten, linear komplexen Selbstaufmerksamkeitsmechanismus, der in mehreren Datenmodalitäten gut funktioniert. Unser Mechanismus basiert auf einer differenzierbaren Stichprobennahme ohne Zurücklegen, die wir entdeckt haben. Dies ermöglicht es dem Selbstaufmerksamkeitsmodul, sich auf das wichtigste Token-Set zu konzentrieren, dessen Wichtigkeit durch die Daten definiert ist. Darüber hinaus kostet die spärliche Formulierung unserer Methode, da Differenzierbarkeit bei der Inferenz nicht erforderlich ist, nur wenig Zeitaufwand und senkt somit die Rechenkosten weiter. Kurz gesagt, SAMSA erzielte wettbewerbsfähige oder sogar SOTA-Ergebnisse in vielen Benchmarks, während es schneller in der Inferenz war, im Vergleich zu anderen sehr spezialisierten Modellen. Im Vergleich zur vollständigen Selbstaufmerksamkeit sinkt die tatsächliche Inferenzzeit erheblich, während die Leistung von vernachlässigbarem Leistungsabfall bis hin zu überlegenen Ergebnissen reicht. Wir stellen unseren Quellcode im Repository zur Verfügung: https://github.com/HySonLab/SAMSA