Avances recientes en el aprendizaje por refuerzo en finanzas

Resumen Los rápidos cambios en la industria financiera debido a la creciente cantidad de datos han revolucionado las técnicas de procesamiento y análisis de datos y han traído nuevos desafíos teóricos y computacionales. En contraste con la teoría clásica del control estocástico y otros enfoques analíticos para resolver problemas de toma de decisiones financieras que dependen en gran medida de suposiciones sobre el modelo, los nuevos desarrollos del aprendizaje por refuerzo (RL) pueden hacer un uso completo de la gran cantidad de datos financieros con menos suposiciones del modelo y mejorar las decisiones en entornos financieros complejos. Este artículo de revisión tiene como objetivo examinar los desarrollos recientes y el uso de enfoques de RL en finanzas. Damos una introducción a los procesos de decisión de Markov, que es el marco para muchos de los enfoques de RL comúnmente utilizados. Luego se presentan varios algoritmos con un enfoque en métodos basados en valor y políticas que no requieren ninguna suposición del modelo. Se establecen conexiones con redes neuronales para extender el marco e incluir algoritmos de RL profundo. Luego discutimos en detalle la aplicación de estos algoritmos de RL en una variedad de problemas de toma de decisiones en finanzas, incluyendo ejecución óptima, optimización de cartera, fijación de precios de opciones y coberturas, creación de mercado, enrutamiento de órdenes inteligentes y asesoramiento automatizado. Nuestra revisión concluye señalando algunas posibles direcciones futuras para la investigación.