Repensando la tokenización

Resumen La tokenización influye significativamente en el rendimiento de los modelos de lenguaje (LMs). Este artículo traza la evolución de los tokenizadores desde el nivel de palabras hasta el subnivel de palabras, analizando cómo equilibran tokens y tipos para mejorar la adaptabilidad del modelo mientras controlan la complejidad. A pesar de que los tokenizadores de subpalabras como la Codificación por Pares de Bytes (BPE) superan muchas limitaciones de los tokenizadores de palabras, enfrentan dificultades en el manejo de lenguas no latinas y dependen en gran medida de amplios datos de entrenamiento y recursos computacionales para captar las sutilezas de las expresiones multipalabra (MWEs). Este artículo sostiene que los tokenizadores, más que meras herramientas técnicas, deberían inspirarse en la ciencia cognitiva sobre el procesamiento del lenguaje humano. Este estudio introduce luego el “Principio del Esfuerzo Mínimo” de la ciencia cognitiva, que indica que los humanos buscan reducir el esfuerzo cognitivo, y discute los beneficios de este principio para el desarrollo de tokenizadores. Basado en este principio, el documento propone que el modelo Menos es Mejor (LiB) podría ser un nuevo enfoque para el tokenizador LLM. El modelo LiB puede aprender de forma autónoma un vocabulario integrado que consiste en subpalabras, palabras y MWEs, lo que reduce efectivamente tanto el número de tokens como de tipos. Evaluaciones comparativas muestran que el tokenizador LiB supera a los tokenizadores de palabras y BPE existentes, presentando un método innovador para el desarrollo de tokenizadores, y sugiriendo la posibilidad de que futuros tokenizadores basados en la ciencia cognitiva sean más eficientes.