Die Extrapolationskraft von impliziten Modellen

In diesem Papier untersuchen wir die Extrapolationsfähigkeiten von impliziten Deep Learning-Modellen bei der Handhabung nicht beobachteter Daten, bei denen traditionelle tiefe neuronale Netzwerke versagen können. Implizite Modelle, die sich durch ihre Anpassungsfähigkeit in der Schichttiefe und die Einbeziehung von Feedback innerhalb ihres Berechnungsgraphen auszeichnen, werden in verschiedenen Extrapolationsszenarien getestet: außer der Verteilung, geografischen und zeitlichen Veränderungen. Unsere Experimente zeigen konstant einen signifikanten Leistungsvorteil mit impliziten Modellen. Im Gegensatz zu ihren nicht-impliziten Gegenstücken, die oft auf akribisches architektonisches Design für jede Aufgabe angewiesen sind, zeigen implizite Modelle die Fähigkeit, komplexe Modellstrukturen zu lernen, ohne dass ein aufgabenspezifisches Design erforderlich ist, was ihre Robustheit im Umgang mit ungesehenen Daten unterstreicht.