Enrutamiento Dinámico para Redes Integradas Satelital-Terrestres: Un Enfoque de Aprendizaje por Refuerzo Multi-Agente Constrainado

El sistema de red integrada satelital-terrestre (ISTN) ha experimentado un crecimiento significativo, ofreciendo servicios de comunicación sin interrupciones en áreas remotas con infraestructura terrestre limitada. Sin embargo, diseñar un esquema de enrutamiento para ISTN es extremadamente difícil, principalmente debido a la complejidad aumentada resultante de la inclusión de estaciones terrestres adicionales, junto con el requisito de satisfacer diversas restricciones relacionadas con la calidad del servicio satelital. Para afrontar estos desafíos, estudiamos el enrutamiento de paquetes con estaciones terrestres y satélites trabajando conjuntamente para transmitir paquetes, priorizando una comunicación rápida y cumpliendo con los requisitos de eficiencia energética y tasa de pérdida de paquetes. Específicamente, formulamos el problema del enrutamiento de paquetes con restricciones como un problema max-min utilizando el método de Lagrange. Luego proponemos un novedoso algoritmo de enrutamiento dinámico de Aprendizaje por Refuerzo Multi-Agente (MARL) con restricciones, llamado CMADR, que equilibra eficientemente la mejora de objetivos y la satisfacción de restricciones durante la actualización de políticas y multiplicadores de Lagrange. Finalmente, realizamos extensos experimentos y un estudio de ablación utilizando las mega-constelaciones de OneWeb y Telesat. Los resultados demuestran que CMADR reduce el retraso de los paquetes en un mínimo del 21% y 15%, cumpliendo con estrictas restricciones de consumo de energía y tasa de pérdida de paquetes, superando varios algoritmos de referencia.