MarkushGrapher: Reconocimiento Visual y Textual Conjunto de Estructuras Markush

El análisis automatizado de la literatura química promete acelerar el descubrimiento en campos como la ciencia de materiales y el desarrollo de fármacos. En particular, las capacidades de búsqueda de estructuras químicas y estructuras Markush (plantillas de estructuras químicas) dentro de documentos de patentes son valiosas, por ejemplo, para la búsqueda de arte anterior. Se han realizado avances en la extracción automática de estructuras químicas a partir de texto e imágenes, sin embargo, las estructuras Markush permanecen en gran medida inexploradas debido a su compleja naturaleza multimodal. En este trabajo, presentamos MarkushGrapher, un enfoque multimodal para reconocer estructuras Markush en documentos. Nuestro método codifica conjuntamente la información de texto, imagen y diseño a través de un codificador de Visión-Texto-Diseño y un codificador de Visión para Reconocimiento de Estructuras Químicas Ópticas. Estas representaciones se fusionan y se utilizan para generar de manera autorregresiva una representación gráfica secuencial de la estructura Markush junto con una tabla que define sus grupos variables. Para superar la falta de datos de entrenamiento del mundo real, proponemos un pipeline de generación de datos sintéticos que produce una amplia gama de estructuras Markush realistas. Además, presentamos M2S, el primer benchmark anotado de estructuras Markush del mundo real, para avanzar en la investigación sobre esta tarea desafiante. Experimentos extensivos demuestran que nuestro enfoque supera a los modelos de visión-lenguaje específicos de química y de propósito general en la mayoría de los escenarios de evaluación. El código, los modelos y los conjuntos de datos están disponibles1.