Un marco integral de aprendizaje por refuerzo para la optimización de la gestión del diálogo

El aprendizaje por refuerzo es ahora un enfoque reconocido para optimizar la estrategia de interacción de los sistemas de diálogo hablado. Si los primeros algoritmos considerados eran bastante básicos (como SARSA), los trabajos recientes se han centrado en métodos más sofisticados. Se ha prestado más atención al aprendizaje fuera de política, abordando el dilema de exploración-explotación, la eficiencia de muestra o el manejo de la no estacionaridad. Se han propuesto nuevos algoritmos para abordar estos problemas y se han aplicado a la gestión del diálogo. Sin embargo, cada algoritmo a menudo resuelve un solo problema a la vez, mientras que los sistemas de diálogo exhiben todos los problemas a la vez. En este artículo, proponemos aplicar el marco de Diferencias Temporales de Kalman (KTD) al problema de la optimización de la estrategia de diálogo para abordar todos estos temas de manera integral con un solo marco. Nuestras afirmaciones están ilustradas por experimentos realizados en dos marcos de gestión de diálogo orientados a objetivos en el mundo real, DIPPER y HIS.