Video als die neue Sprache für Entscheidungen in der realen Welt

Sowohl Text- als auch Videodaten sind im Internet reichlich vorhanden und unterstützen das großangelegte selbstüberwachte Lernen durch die Vorhersage des nächsten Tokens oder Frames. Sie wurden jedoch nicht gleichwertig genutzt: Sprachmodelle haben einen bedeutenden Einfluss auf die reale Welt gehabt, während die Videoerstellung größtenteils auf Medienunterhaltung beschränkt geblieben ist. Dennoch erfasst Videodaten wichtige Informationen über die physische Welt, die schwer in Sprache auszudrücken sind. Um diese Lücke zu schließen, diskutieren wir eine unterbewertete Gelegenheit, die Videoerstellung zu erweitern, um Aufgaben in der realen Welt zu lösen. Wir beobachten, wie, ähnlich wie Sprache, Video als eine einheitliche Schnittstelle dienen kann, die Internetwissen absorbiert und vielfältige Aufgaben darstellt. Darüber hinaus zeigen wir, wie, ähnlich wie Sprachmodelle, Videoerstellung als Planer, Agenten, Rechenmaschinen und Umgebungs-Simulatoren durch Techniken wie kontextuelles Lernen, Planung und Verstärkungslernen dienen kann. Wir identifizieren wesentliche Chancen für Auswirkungen in Bereichen wie Robotik, autonomes Fahren und Wissenschaft, unterstützt durch aktuelle Arbeiten, die zeigen, wie solche fortschrittlichen Fähigkeiten in der Videoerstellung plausibel erreichbar sind. Schließlich identifizieren wir die wichtigsten Herausforderungen in der Videoerstellung, die den Fortschritt mindern. Die Bewältigung dieser Herausforderungen wird es den Modellen zur Videoerstellung ermöglichen, neben Sprachmodellen in einer breiteren Palette von KI-Anwendungen einen einzigartigen Wert zu demonstrieren.