SOFTS++ : Modèle linéaire rapide et précis pour la prévision de séries temporelles multivariées à long terme

Ces dernières années, les modèles basés sur les Transformers ont dominé le domaine de la prévision de séries temporelles à long terme. Cependant, la complexité quadratique des mécanismes d'attention rend à la fois l'entraînement et l'inférence coûteux en ressources computationnelles. Le modèle SOFTS a émergé comme une alternative efficace, remplaçant les mécanismes d'attention par le module STAR afin de préserver une complexité linéaire tout en atteignant des performances comparables, voire supérieures, aux approches concurrentes. Le modèle SOFTS repose sur l'architecture iTransformer, qui a marqué une avancée significative dans la prévision de séries temporelles à long terme. Bien que ni iTransformer ni SOFTS n'intègrent d'embeddings positionnels, notre analyse a révélé une opportunité claire d'améliorer la précision des prévisions en les introduisant. Cependant, l'inclusion directe d'embeddings positionnels entraîne des problèmes de convergence et de généralisation. Pour y remédier, nous proposons une technique simple mais efficace : pendant l'entraînement, les embeddings positionnels sont omis aléatoirement lors de certains passes avant, ce qui réduit l'instabilité et aide le modèle à mieux se généraliser. Nous désignons cette nouvelle forme d'utilisation des embeddings positionnels comme Embedding Positionnel Stochastique Apprenable. De plus, nous incorporons plusieurs couches de dropout pour atténuer le surapprentissage et améliorer la précision. Ces modifications donnent naissance à SOFTS++, un modèle rapide et précis qui atteint la meilleure performance sur au moins 10 des 12 ensembles de données de référence standard. En maintenant une complexité linéaire et en nécessitant des ressources computationnelles minimales, SOFTS++ se distingue comme une méthode capable et efficace en ressources pour des tâches de prévisions multivariées à long terme.