Hacia una Política Robusta: Mejorando el Aprendizaje por Refuerzo Offline con Ataques y Defensas Adversariales

El aprendizaje por refuerzo offline (RL) aborda el desafío de la exploración de datos costosa y de alto riesgo inherente al RL al pre-entrenar políticas en vastas cantidades de datos offline, permitiendo la implementación directa o el ajuste fino en entornos del mundo real. Sin embargo, este paradigma de entrenamiento puede comprometer la robustez de la política, lo que lleva a un rendimiento degradado en condiciones prácticas debido a perturbaciones en las observaciones o ataques intencionales. Aunque los ataques y defensas adversariales han sido estudiados extensamente en el aprendizaje profundo, su aplicación en RL offline es limitada. Este artículo propone un marco para mejorar la robustez de los modelos de RL offline aprovechando ataques y defensas adversariales avanzados. El marco ataca los componentes del actor y el crítico perturbando observaciones durante el entrenamiento y utilizando defensas adversariales como regularización para mejorar la política aprendida. Se introducen y evalúan cuatro ataques y dos defensas en el benchmark D4RL. Los resultados muestran la vulnerabilidad tanto del actor como del crítico a los ataques y la efectividad de las defensas en mejorar la robustez de la política. Este marco tiene el potencial de mejorar la confiabilidad de los modelos de RL offline en escenarios prácticos.