Key points are not available for this paper at this time.
Da große Sprachmodelle (LLMs) unter Sprechern verschiedener Sprachen an Popularität gewinnen, halten wir es für entscheidend, diese zu bewerten, um das Verhalten, die Fehler und die Einschränkungen der Modelle in Sprachen jenseits des Englischen besser zu verstehen. In dieser Arbeit bewerten wir LLM-APIs (ChatGPT, GPT-3 und GPT-4) anhand der nationalen medizinischen Zulassungsprüfungen in Japan aus den letzten fünf Jahren, einschließlich des aktuellen Jahres. Unser Team besteht aus.native japanischsprachigen NLP-Forschern und einem praktizierenden Kardiologen mit Sitz in Japan. Unsere Experimente zeigen, dass GPT-4 ChatGPT und GPT-3 übertrifft und alle sechs Jahre der Prüfungen besteht, was das Potenzial von LLMs in einer Sprache hervorhebt, die typologisch weit entfernt vom Englischen ist. Unserer Bewertung offenbart jedoch auch kritische Einschränkungen der aktuellen LLM-APIs. Erstens wählen LLMs manchmal verbotene Optionen, die in der medizinischen Praxis in Japan strikt vermieden werden sollten, wie zum Beispiel die Vorschlag zur Euthanasie. Darüber hinaus zeigt unsere Analyse, dass die API-Kosten im Allgemeinen höher sind und die maximale Kontextgröße für Japan aufgrund der Art und Weise, wie nicht-lateinische Schriften derzeit in der Pipeline tokenisiert werden, kleiner ist. Wir veröffentlichen unser Benchmark als Igaku QA sowie alle Modelldaten und Prüfungsmetadaten. Wir hoffen, dass unsere Ergebnisse und unser Benchmark Fortschritte bei vielfältigen Anwendungen von LLMs anstoßen werden. Unser Benchmark ist verfügbar unter https://github.com/jungokasai/IgakuQA.
Kasai et al. (Fri,) haben diese Frage untersucht.