Key points are not available for this paper at this time.
Les résultats de cette expérience soutiennent l'hypothèse selon laquelle les GPT basés sur des LLMs fonctionnent bien sur des invites plus populaires qui ont atteint un consensus général, mais ont du mal avec des sujets controversés ou des sujets avec des données limitées. La variabilité des réponses de l'application souligne que les modèles dépendent de la quantité et de la qualité de leurs données d'entraînement, et cela évoque le système de crowdsourcing qui repose sur des contributions diverses et crédibles. Ainsi, bien que les GPT puissent servir d'outils utiles pour de nombreuses tâches banales, leur engagement avec des sujets obscurs et polarisés doit être interprété avec prudence. La dépendance des LLMs aux modèles probabilistes pour produire des déclarations sur le monde lie leur précision de près à l'étendue et à la qualité des données qui leur sont fournies.
Waldo et al. (Fri,) ont étudié cette question.