Riesgos de los Modelos de Lenguaje para la Atención Automática de la Salud Mental: Ética y Estructura para la Implementación

Resumen En medio del creciente interés en desarrollar IA autónoma para la atención automática de la salud mental, este documento aborda los desafíos éticos y prácticos asociados con el tema y propone un marco estructurado que delimita los niveles de autonomía, esboza los requisitos éticos y define comportamientos predeterminados beneficiosos para los agentes de IA en el contexto del apoyo a la salud mental. También evaluamos diez modelos de lenguaje de última generación utilizando 16 preguntas relacionadas con la salud mental diseñadas para reflejar diversas condiciones de salud mental, como psicosis, manía, depresión, pensamientos suicidas y tendencias homicidas. El diseño de preguntas y las evaluaciones de respuestas fueron realizadas por clínicos de salud mental (M.D.s). Encontramos que los modelos de lenguaje existentes son insuficientes para igualar el estándar proporcionado por profesionales humanos que pueden navegar por las sutilezas y apreciar el contexto. Esto se debe a una serie de problemas, incluidas respuestas demasiado cautelosas o aduladoras y la ausencia de las salvaguardias necesarias. Alarmantemente, encontramos que la mayoría de los modelos probados podrían causar daño si se accede a ellos en emergencias de salud mental, fallando en proteger a los usuarios y potencialmente exacerbando los síntomas existentes. Exploramos soluciones para mejorar la seguridad de los modelos actuales. Antes del lanzamiento de sistemas de IA cada vez más autónomos en la salud mental, es crucial asegurar que estos modelos puedan detectar y gestionar de manera confiable los síntomas de trastornos psiquiátricos comunes para prevenir daños a los usuarios. Esto implica alinearse con el marco ético y los comportamientos predeterminados descritos en nuestro estudio. Sostenemos que los desarrolladores de modelos son responsables de perfeccionar sus sistemas según estas directrices para proteger contra los riesgos que las tecnologías de IA actuales representan para la salud mental y la seguridad de los usuarios. Advertencia de contenido Contiene y discute ejemplos de temas sensibles de salud mental, incluyendo el suicidio y el autolesión.