LLaVA-Read: Mejorando la capacidad de lectura de modelos de lenguaje multimodal

Los grandes modelos de lenguaje multimodal han demostrado capacidades impresionantes para entender y manipular imágenes. Sin embargo, muchos de estos modelos tienen dificultades para comprender contenidos textuales intensivos incrustados en las imágenes, principalmente debido a la limitada capacidad de reconocimiento de texto y comprensión de diseño. Para entender las fuentes de estas limitaciones, realizamos un análisis exploratorio que muestra las desventajas de los codificadores visuales clásicos en la comprensión del texto visual. Por lo tanto, presentamos LLaVA-Read, un modelo de lenguaje multimodal grande que utiliza codificadores visuales duales junto con un codificador de texto visual. Nuestro modelo supera a los modelos de última generación existentes en varias tareas de comprensión de imágenes ricas en texto, mostrando una comprensión mejorada del contenido textual dentro de las imágenes. Juntos, nuestra investigación sugiere que la comprensión del texto visual sigue siendo un desafío abierto y un codificador de texto visual eficiente es crucial para futuros sistemas multimodales exitosos.