Aprendizaje por transferencia para el reconocimiento de entidades nombradas biomédicas con redes neuronales

Motivación Abstracta El aumento explosivo de la literatura biomédica ha hecho que la extracción de información se convierta en una herramienta cada vez más importante para la investigación biomédica. Una tarea fundamental es el reconocimiento de entidades nombradas biomédicas en el texto (BNER) como genes/proteínas, enfermedades y especies. Recientemente, se ha demostrado que un método independiente del dominio basado en aprendizaje profundo y representaciones vectoriales de palabras estadística, llamado red de memoria a largo y corto plazo-condicional en campo aleatorio (LSTM-CRF), supera a las herramientas de BNER específicas de entidades de última generación. Sin embargo, este método depende de corpora estándar de oro (GSCs) que consisten en entidades etiquetadas a mano, que tienden a ser pequeñas pero altamente confiables. Una alternativa a los GSCs son los corpora de estándar plata (SSCs), que se generan armonizando las anotaciones realizadas por varios sistemas de anotación automática. Los SSCs típicamente contienen más ruido que los GSCs pero tienen la ventaja de contener muchos más ejemplos de entrenamiento. Idealmente, estos corpora podrían combinarse para lograr los beneficios de ambos, lo que representa una oportunidad para el aprendizaje por transferencia. En este trabajo, analizamos hasta qué punto el aprendizaje por transferencia mejora los resultados de última generación para BNER. Resultados Demostramos que transferir una red neuronal profunda (DNN) entrenada en un SSC grande y ruidoso a un GSC más pequeño pero más confiable mejora significativamente los resultados de última generación para BNER. En comparación con una línea base de última generación evaluada en 23 GSCs abarcando cuatro clases de entidades diferentes, el aprendizaje por transferencia resulta en una reducción promedio del error de aproximadamente el 11%. Encontramos que el aprendizaje por transferencia es especialmente beneficioso para conjuntos de datos objetivo con un número reducido de etiquetas (aproximadamente 6000 o menos). Disponibilidad e implementación El código fuente para el LSTM-CRF está disponible en https://github.com/Franck-Dernoncourt/NeuroNER/ y los enlaces a los corpora están disponibles en https://github.com/BaderLab/Transfer-Learning-BNER-Bioinformatics-2018/. Contacto john.giorgi@utoronto.ca Información suplementaria Los datos suplementarios están disponibles en Bioinformatics en línea.