Sprachmodelle haben immer noch Schwierigkeiten, über Zeitserien im Nullshot-Verfahren nachzudenken

Zeitserien sind entscheidend für die Entscheidungsfindung in Bereichen wie Finanzen und Gesundheitswesen. Ihre Bedeutung hat einen jüngsten Zustrom von Arbeiten ausgelöst, die Zeitserien in Sprachmodelle einspeisen, was zu nicht-trivialen Vorhersagen in einigen Datensätzen führt. Es bleibt jedoch unklar, ob nicht-triviale Vorhersagen darauf hindeuten, dass Sprachmodelle über Zeitserien nachdenken können. Um diese Lücke zu schließen, haben wir einen erstmaligen Evaluierungsrahmen für das Nachdenken über Zeitserien geschaffen, einschließlich formeller Aufgaben und eines entsprechenden Datensatzes von Multi-Skalen-Zeitserien, die mit Textbeschreibungen in zehn Bereichen gepaart sind. Mit diesen Daten überprüfen wir, ob Sprachmodelle drei Formen des Nachdenkens erreichen: (1) Ätiologisches Nachdenken - kann das Sprachmodell gegeben einer Eingabe-Zeitserie das Szenario identifizieren, das sie höchstwahrscheinlich erzeugt hat? (2) Fragen beantworten - kann ein Sprachmodell faktische Fragen zu Zeitserien beantworten? (3) Kontextgestützte Vorhersage - verbessert hochrelevanter Textkontext die Zeitserienvorhersagen eines Sprachmodells? Wir stellen fest, dass ansonsten hochqualifizierte Sprachmodelle überraschend begrenzte Fähigkeiten im Nachdenken über Zeitserien zeigen: Sie erzielen marginal über dem Zufall bei ätiologischen und Fragebeantwortungsaufgaben (bis zu 30 Prozentpunkte schlechter als Menschen) und zeigen bescheidenen Erfolg darin, Kontext zur Verbesserung von Vorhersagen zu nutzen. Diese Schwächen verdeutlichen, dass das Nachdenken über Zeitserien eine wirkungsvolle, aber tief unterentwickelte Richtung der Sprachmodellforschung ist. Wir machen auch unsere Datensätze und unseren Code öffentlich, um weitere Forschung in diese Richtung zu unterstützen unter https://github.com/behavioral-data/TSandLanguage.