Avaliação da orientação sobre medicação de internação por meio de um chatbot de inteligência artificial

OBJETIVO: Analisar a completude clínica, correção, utilidade e segurança das respostas de chatbots e bancos de dados de medicação às perguntas cotidianas sobre uso de medicação em internação. MÉTODOS: Avaliamos as respostas de um chatbot de inteligência artificial, um banco de dados de medicação e farmacêuticos clínicos a 200 perguntas reais sobre uso de medicação. A qualidade das respostas foi classificada por um grupo cego de farmacêuticos, prestadores de serviços e enfermeiros. As respostas do chatbot e do banco de dados foram consideradas "aceitáveis" se a média das avaliações dos revisores estivesse dentro de 3 pontos da média das avaliações para as respostas dos farmacêuticos. Utilizamos estatísticas descritivas para as avaliações dos revisores e o coeficiente de Kendall para avaliar o acordo interavaliador. RESULTADOS: O banco de dados de medicação gerou respostas para 194 (97%) perguntas, com 88% consideradas aceitáveis para correção clínica, 76% consideradas aceitáveis para completude, 83% consideradas aceitáveis para segurança e 81% consideradas aceitáveis para utilidade em comparação com as respostas dos farmacêuticos. O chatbot respondeu a apenas 160 (80%) perguntas, com 85% consideradas aceitáveis para correção clínica, 65% consideradas aceitáveis para completude, 71% consideradas aceitáveis para segurança e 68% consideradas aceitáveis para utilidade. CONCLUSÃO: Métodos de busca tradicionais usando um banco de dados de medicamentos fornecem respostas mais clinicamente corretas, completas, seguras e úteis do que um chatbot. Quando o chatbot gerou uma resposta, a correção clínica foi semelhante à de um banco de dados de medicamentos; no entanto, não foi avaliada tão favoravelmente em relação à completude clínica, segurança ou utilidade. Nossos resultados destacam a necessidade de treinamento contínuo e melhorias contínuas nos chatbots de inteligência artificial para que possam ser incorporados de forma confiável à rotina clínica. Com a melhoria contínua da funcionalidade do chatbot, os chatbots poderiam ser um útil adjunto para farmacêuticos, fornecendo respostas rápidas e confiáveis às perguntas sobre uso de medicação.