Chatbot für die Rückgabe positiver genetischer Screening-Ergebnisse bei erblichen Krebs-Syndromen: eine Studie zur Prompt-Entwicklung (Preprint)

HINTERGRUND Die wachsende Nachfrage nach genomischen Tests und der begrenzte Zugang zu Experten erfordern innovative Dienstleistungsmodelle. Während Chatbots vielversprechend bei der Unterstützung genomischer Dienste wie der Prä-Test-Beratung gezeigt haben, bleibt ihre Verwendung zur Rückgabe positiver genetischer Ergebnisse, insbesondere unter Verwendung der neueren großen Sprachmodelle (LLMs), unerforscht. ZIEL Diese Studie berichtet über den Prozess der Prompt-Entwicklung und die interne Bewertung der LLM-Komponente eines Chatbots, der darauf ausgelegt ist, die Rückgabe positiver genomischer Screening-Ergebnisse aus der Bevölkerung zu unterstützen. METHODEN Wir verwendeten einen dreistufigen Prozess zur Prompt-Entwicklung, einschließlich Retrieval-Augmented Generation (RAG) und Few-Shot-Techniken, um einen offenen Antwort-Chatbot zu entwickeln. Dieser wurde dann anhand von zwei hypothetischen Szenarien bewertet, wobei Experten seine Leistung anhand einer 5-Punkte-Likert-Skala über acht Kriterien bewerteten: Ton, Klarheit, Programmgenauigkeit, Fachgenauigkeit, Robustheit, Effizienz, Grenzen und Benutzerfreundlichkeit. ERGEBNISSE Der Chatbot erreichte insgesamt eine Bewertung von 3,88 von 5 in allen Kriterien und Szenarien. Die höchsten Bewertungen lagen im Bereich Ton (4,25), Benutzerfreundlichkeit (4,25) und Grenzmanagement (4,0), gefolgt von Effizienz (3,88), Klarheit und Robustheit (3,81) sowie Fachgenauigkeit (3,63). Das am niedrigsten bewertete Kriterium war die Programmgenauigkeit, die 3,25 erzielte. FAZIT Das LLM bearbeitete offene Anfragen und hielt die Grenzen ein, während die niedrigere Bewertung der Programmgenauigkeit auf Bereiche hinweist, die verbessert werden können. Zukünftige Arbeiten werden sich auf die Verfeinerung von Prompts, die Ausweitung der Bewertungen und die Untersuchung optimaler hybrider Chatbot-Designs konzentrieren, die LLM-Komponenten mit regelbasierten Chatbot-Komponenten integrieren, um die Bereitstellung genomischer Dienste zu verbessern.