Verbesserung von Transformer-Modellen mit besseren relativen Positions-Embeddings

Transformer-Architekturen basieren auf expliziten Positionskodierungen, um eine Vorstellung von Wortreihenfolge zu bewahren. In diesem Papier argumentieren wir, dass bestehende Arbeiten die Positionsinformationen nicht vollständig nutzen. Zum Beispiel ist der ursprüngliche Vorschlag für ein Sinus-Embedding festgelegt und nicht lernbar. In diesem Papier überprüfen wir zunächst absolute Positions-Embeddings und bestehende Methoden für relative Positions-Embeddings. Wir schlagen dann neue Techniken vor, die die Interaktion zwischen Abfrage-, Schlüssel- und relativen Positions-Embeddings im Selbstaufmerksamkeitsmechanismus fördern. Unser vielversprechendster Ansatz ist eine Verallgemeinerung des absoluten Positions-Embeddings, die die Ergebnisse auf SQuAD1.1 im Vergleich zu früheren Ansätzen von Positions-Embeddings verbessert. Darüber hinaus gehen wir auf die induktive Eigenschaft ein, ob ein Positions-Embedding robust genug sein kann, um lange Sequenzen zu verarbeiten. Empirisch zeigen wir, dass unser Ansatz für relative Positions-Embeddings ausreichend verallgemeinert und robust aus induktiver Perspektive ist. Schließlich zeigen wir, dass unsere vorgeschlagene Methode als nahezu sofortige Alternative zur Verbesserung der Genauigkeit großer Modelle mit einem kleinen Rechenbudget übernommen werden kann.