Investigación sobre el Aprendizaje Sin Recompensa Externa

En el paradigma tradicional del aprendizaje por refuerzo, se aplica una señal de recompensa para definir el objetivo de la tarea. Por lo general, la señal de recompensa es un valor numérico "artesanal" o una función predefinida: le indica al agente qué tan buena o mala es una acción específica. Sin embargo, creemos que existen situaciones en las cuales el entorno no puede proporcionar directamente tal señal de recompensa al agente. Por lo tanto, la pregunta es si un agente puede seguir aprendiendo sin la señal de recompensa externa o no. Con este fin, este artículo desarrolla un enfoque de auto-aprendizaje que permite al agente desarrollar de manera adaptativa una señal de recompensa interna basada en un objetivo final dado, sin requerir una señal de recompensa externa explícita del entorno. En este artículo, nuestro objetivo es transmitir la idea del auto-aprendizaje en un sentido amplio, que podría aplicarse en una amplia gama de algoritmos y arquitecturas de aprendizaje por refuerzo y programación dinámica adaptativa existentes. Describimos las formas idealizadas de este método matemáticamente y también demostramos su efectividad a través de un estudio de caso de péndulo invertido de triple vínculo.