Generación de leyendas de texto largo para imágenes quirúrgicas con un modelo multimodal grande aumentado con recuperación de conceptos

La generación de leyendas para imágenes quirúrgicas es fundamental para el reporte automatizado y la educación, pero actualmente está limitada por la falta de conjuntos de datos de texto largo y la tendencia de los Modelos de Lenguaje Multimodal Grandes (MLLMs) genéricos a alucinar detalles médicos. Para abordar esto, presentamos un marco integral para la generación de leyendas quirúrgicas de texto largo. Primero, construimos un punto de referencia verificado de texto largo que extiende el conjunto de datos EndoVis2018, utilizando una tubería automatizada con validación por expertos para transformar tripletes breves en narrativas detalladas. Segundo, investigamos estrategias de adaptación específicas del dominio para MLLMs. Implementamos un mecanismo de generación aumentado con recuperación de conceptos quirúrgicos (RAG) que inyecta dinámicamente conocimiento especializado (instrumentos, acciones) en el codificador visual, mitigando efectivamente las alucinaciones específicas del dominio comunes en modelos genéricos. Finalmente, reconociendo la insuficiencia de las métricas n-gram para textos médicos largos, establecemos un protocolo de evaluación robusto usando métricas alineadas clínicamente. Experimentos extensos demuestran que nuestro enfoque centrado en datos y mejorado con recuperación supera significativamente a las líneas base en la producción de descripciones largas clínicamente precisas y coherentes.