Frequenzverstärkter Transformer mit symmetriegestützter leichter Mehrfachdarstellung zur Vorhersage multivariater Zeitreihen

Transformer-basierte Methoden haben kürzlich ihr Potenzial bei Problemen der Zeitreihenvorhersage gezeigt. Allerdings ist der Mainstream-Ansatz, der hauptsächlich Aufmerksamkeit nutzt, um die internen Schritt-Korrelationen im Zeitbereich zu modellieren, durch zwei bedeutende Probleme eingeschränkt, die zu ineffektiver und ineffizienter multivariater Vorhersage führen. Das erste Problem ist, dass Schlüsseldarstellungen im Zeitbereich verstreut und spärlich sind, was zu einem Parameteraufblähen und einer erhöhten Schwierigkeit bei der Erfassung von Zeitabhängigkeiten führt. Das zweite Problem ist, dass die Behandlung von Zeitpunkten als einheitlich eingebetteten Tokens zur Auslöschung von intervariaten Korrelationen führt. Um diese Herausforderungen zu bewältigen, schlagen wir eine frequenzbasierte und variablenorientierte transformerbasierte Methode vor. Diese Methode nutzt die intrinsische konjugierte Symmetrie im Frequenzbereich, die kompakte Darstellungen im Frequenzbereich ermöglicht, die Informationen über Zeitpunkte hinweg mischen und gleichzeitig die raum-zeitlichen Kosten reduzieren. Multivariate Interkorrelationen können ebenfalls aus ähnlichen Komponenten des Frequenzbereichs erfasst werden, was die Modellierungsfähigkeit des variablenorientierten Aufmerksamkeitsmechanismus erhöht. Darüber hinaus verwenden wir sowohl polare als auch komplexe Perspektiven, um die Frequenzbereichsdarstellungen zu bereichern und komplizierte zeitliche Muster zu dekodieren. Wir schlagen die frequenzverstärkte unabhängige Darstellungs-Multi-Head-Attention (FIR-Attention) vor, um diese Vorteile für verbesserte multivariate Interaktionen zu nutzen. Techniken wie Frequenzabschneidung und äquivalente Abbildung werden eingesetzt, um die leichte Natur des Modells sicherzustellen. Umfangreiche Experimente mit acht gängigen Datensätzen zeigen, dass unser Ansatz erstklassige, zufriedenstellende Ergebnisse erzielt und, was wichtig ist, nur ein Prozent der raum-zeitlichen Kosten traditioneller Methoden erfordert.