Classificação de Notas de Progresso e Extração de Palavras-chave usando Modelos de Aprendizado Profundo Baseados em Atenção com BERT

Vários algoritmos de aprendizado profundo foram desenvolvidos para analisar diferentes tipos de dados clínicos, incluindo classificação de texto clínico e extração de informações de 'texto livre', entre outros. No entanto, automatizar a extração de palavras-chave das notas clínicas ainda é desafiador. Os desafios incluem lidar com notas clínicas ruidosas que contêm várias abreviações, possíveis erros de digitação e frases não estruturadas. O objetivo desta pesquisa é investigar modelos de aprendizado profundo baseados em atenção para classificar as notas de progresso clínico desidentificadas extraídas de um sistema EHR do mundo real. Os modelos de aprendizado profundo baseados em atenção podem ser usados para interpretar os modelos e entender as palavras críticas que direcionam a classificação correta ou incorreta das notas de progresso clínico. Os modelos baseados em atenção nesta pesquisa são capazes de apresentar modelos de classificação de texto interpretáveis por humanos. Os resultados mostram que o BERT ajustado com a camada de atenção pode alcançar uma alta precisão de classificação de 97,6%, que é superior ao modelo de classificação BERT ajustado de linha de base. Nesta pesquisa, também demonstramos que os modelos baseados em atenção podem identificar palavras-chave relevantes que estão fortemente relacionadas às categorias de notas de progresso clínico.