Bewertung der Antworten von ChatGPT auf Fragen von Patienten der Hals-Nasen-Ohren-Heilkunde

Ziel: Diese Studie zielt darauf ab, die Leistung von ChatGPT bei der Beantwortung von Fragen von Patienten der Hals-Nasen-Ohren-Heilkunde in der realen Welt zu bewerten, wobei der Schwerpunkt auf Genauigkeit, Vollständigkeit und Patientensicherheit liegt, um die Eignung für die Integration in das Gesundheitswesen zu beurteilen. Methoden: Es wurde eine Querschnittsstudie durchgeführt, die Patientenfragen aus dem öffentlichen Online-Forum Reddit’s r/AskDocs verwendete, wo medizinischer Rat von Fachleuten gesucht wird. Patientenfragen wurden in ChatGPT (GPT-3.5) eingegeben, und die Antworten wurden von 5 zertifizierten Fachärzten für Hals-Nasen-Ohren-Heilkunde überprüft. Die Bewertungskriterien umfassten Schwierigkeit, Genauigkeit, Vollständigkeit und Umgangsformen/Empathie. Eine statistische Analyse untersuchte die Beziehung zwischen den Merkmalen der Patientenfragen und den Antwortbewertungen von ChatGPT. Potenziell gefährliche Antworten wurden ebenfalls identifiziert. Ergebnisse: Die Fragen der Patienten hatten im Durchschnitt 224,93 Worte, während die Antworten von ChatGPT mit 414,93 Worten länger waren. Die Genauigkeitsbewertungen für die Antworten von ChatGPT betrugen 3,76/5, die Vollständigkeitsbewertungen 3,59/5 und die Bewertungen für Umgangsformen/Empathie 4,28/5. Längere Patientenfragen korrelierten nicht mit besseren Antwortbewertungen. Allerdings erzielten längere Antworten von ChatGPT höhere Bewertungen in Bezug auf Umgangsformen/Empathie. Höhere Schwierigkeit der Fragen korrelierte mit geringerer Vollständigkeit. Fünf Antworten wurden als potenziell gefährlich eingestuft. Fazit: Obwohl ChatGPT vielversprechende Ansätze zur Beantwortung von Fragen von Patienten der Hals-Nasen-Ohren-Heilkunde zeigt, demonstriert diese Studie seine Einschränkungen, insbesondere in Bezug auf Genauigkeit und Vollständigkeit. Die Identifizierung potenziell gefährlicher Antworten unterstreicht die Notwendigkeit eines vorsichtigen Umgangs mit KI im medizinischen Rat. Eine verantwortungsvolle Integration von KI in das Gesundheitswesen erfordert umfassende Bewertungen der Modellleistung und ethische Überlegungen zur Patientensicherheit.