BloombergGPT: Ein großes Sprachmodell für Finanzen

Der Einsatz von NLP im Bereich der Finanztechnologie ist breit und komplex, mit Anwendungen, die von Sentimentanalyse und Named Entity Recognition bis hin zu Frage-Antwort-Systemen reichen. Es wurde gezeigt, dass große Sprachmodelle (LLMs) bei einer Vielzahl von Aufgaben effektiv sind; jedoch wurde in der Literatur kein LLM berichtet, das auf den Finanzbereich spezialisiert ist. In dieser Arbeit präsentieren wir BloombergGPT, ein Sprachmodell mit 50 Milliarden Parametern, das auf einer breiten Palette finanzieller Daten trainiert wurde. Wir stellen einen Datensatz mit 363 Milliarden Tokens auf Basis von Bloombergs umfangreichen Datenquellen zusammen, möglicherweise der größte domänenspezifische Datensatz bisher, ergänzt durch 345 Milliarden Tokens aus allgemeinen Datensätzen. Wir validieren BloombergGPT anhand von standardisierten LLM-Benchmarks, offenen Finanzbenchmarks und einer Suite interner Benchmarks, die unsere beabsichtigte Nutzung am genauesten widerspiegeln. Unser Training mit gemischten Datensätzen führt zu einem Modell, das bestehende Modelle bei finanziellen Aufgaben signifikant übertrifft, ohne die Leistung bei allgemeinen LLM-Benchmarks zu beeinträchtigen. Darüber hinaus erklären wir unsere Modellierungsentscheidungen, den Trainingsprozess und die Evaluationsmethodik. Wir veröffentlichen die Training Chronicles (Anhang C), die unsere Erfahrungen beim Training von BloombergGPT detailliert darstellen.