Aprendizaje implícito de la semántica de tokens

Puntos clave

• Esta investigación tiene como objetivo proponer un nuevo modelo de aprendizaje profundo para una atención semántica más efectiva en tareas lingüísticas.
• Desarrollado Roken, un modelo de aprendizaje profundo recurrente.
• Enfocado en técnicas de aprendizaje implícito.
• Aplicado el modelo a tareas de aprendizaje de siguiente token y de secuencia a secuencia.
• Roken mejora la eficiencia de la atención semántica.
• Mostró un rendimiento más rápido en predicciones de lenguaje.
• Mejoró la precisión en tareas de secuencia a secuencia.