Marco de Asignación de Recursos Eficiente en Energía Basado en Aprendizaje Dinámico Meta-Transferido para Comunicaciones V2X

La mayoría de los estudios existentes consideran el enfoque de Q-learning basado en aprendizaje por refuerzo profundo (DRL) debido a su capacidad para converger rápidamente a una solución casi óptima, lo que resulta en una asignación efectiva de recursos y potencia. La red Q basada en DRL discretiza los valores continuos de potencia, lo que resulta en un rendimiento deficiente. Es un desafío asignar recursos de manera efectiva en condiciones de canal que varían rápidamente en entornos vehiculares dinámicos. En este trabajo, proponemos dos enfoques para superar estos desafíos. Primero, presentamos un enfoque de asignación de recursos eficiente en energía basado en DRL, donde utilizamos un esquema de gradiente de política determinista profunda con retraso doble (TD3) basado en muestreo de Thompson para resolver el problema de asignación de potencia y recursos. Segundo, presentamos un marco de aprendizaje dinámico meta-transferido para mejorar la capacidad de la política de ajustarse a nuevas condiciones de canal. Los resultados de simulación muestran que el enfoque TD3 propuesto basado en el muestreo de Thompson mejora el rendimiento del sistema. Además, el marco de aprendizaje dinámico meta-transferido basado en DRL propuesto toma un 80% menos de muestras para adaptarse a un nuevo entorno.