Chatbot para la Devolución de Resultados Positivos de Pruebas Genéticas para Síndromes de Cáncer Hereditario: un Estudio de Ingeniería de Prompts (Preimpresión)

ANTECEDENTES La creciente demanda de pruebas genómicas y el acceso limitado a expertos requieren modelos de servicio innovadores. Si bien los chatbots han mostrado promesa en el apoyo a servicios genómicos como el asesoramiento previo a la prueba, su uso en la devolución de resultados genéticos positivos, especialmente utilizando los modelos de lenguaje grande (LLMs) más recientes, aún no se ha explorado. OBJETIVO Este estudio informa sobre el proceso de ingeniería de prompts y la evaluación intrínseca del componente LLM de un chatbot diseñado para apoyar la devolución de resultados de cribado genómico positivos a nivel poblacional. MÉTODOS Utilizamos un proceso de ingeniería de prompts en tres pasos, que incluye generación aumentada por recuperación (RAG) y técnicas de pocos disparos para desarrollar un chatbot de respuesta abierta. Esto se evaluó utilizando dos escenarios hipotéticos, con expertos evaluando su rendimiento utilizando una escala Likert de 5 puntos en ocho criterios: tono, claridad, precisión del programa, precisión del dominio, robustez, eficiencia, límites y usabilidad. RESULTADOS El chatbot logró una puntuación general de 3.88 de 5 en todos los criterios y escenarios. Las puntuaciones más altas fueron en Tono (4.25), Usabilidad (4.25) y Gestión de límites (4.0), seguidas de Eficiencia (3.88), Claridad y Robustez (3.81), y Precisión del Dominio (3.63). El criterio con la puntuación más baja fue la Precisión del Programa, que obtuvo 3.25. CONCLUSIONES El LLM manejó consultas abiertas y mantuvo los límites, mientras que la calificación más baja de Precisión del Programa indica áreas de mejora. El trabajo futuro se centrará en refinar los prompts, expandir las evaluaciones y explorar diseños óptimos de chatbot híbrido que integren componentes de LLM con componentes de chatbot basados en reglas para mejorar la entrega de servicios genómicos.