Compresión Semántica con Grandes Modelos de Lenguaje

El auge de los grandes modelos de lenguaje (LLMs) está revolucionando las tareas de recuperación de información, respuesta a preguntas, resumen y generación de código. Sin embargo, además de presentar con confianza información factual inexacta en ocasiones (conocido como “alucinaciones”), los LLMs también están inherentemente limitados por la cantidad de tokens de entrada y salida que pueden procesar a la vez, lo que los hace potencialmente menos efectivos en tareas que requieren procesar un conjunto grande o un flujo continuo de información. Un enfoque común para reducir el tamaño de los datos es mediante compresión sin pérdida o con pérdida. No obstante, en algunos casos no es estrictamente necesario recuperar perfectamente cada detalle de los datos originales, siempre que se transmita un nivel requerido de precisión semántica o intención. Este artículo presenta tres contribuciones a la investigación sobre LLMs. Primero, presentamos los resultados de experimentos que exploran la viabilidad de la “compresión aproximada” usando LLMs, enfocándonos específicamente en GPT-3.5 y GPT-4 a través de interfaces ChatGPT. Segundo, investigamos y cuantificamos la capacidad de los LLMs para comprimir texto. Tercero, presentamos dos métricas novedosas - Efectividad Exacta de Reconstrucción (ERE) y Efectividad de Reconstrucción Semántica (SRE) - que cuantifican el nivel de intención preservada entre el texto comprimido y descomprimido por los LLMs que estudiamos. Nuestros resultados iniciales indican que GPT-4 puede comprimir y reconstruir texto efectivamente mientras preserva la esencia semántica del texto original, proporcionando un camino para aprovechar más tokens que los límites actuales permiten.