O cloud gaming em VR promete experiências imersivas, mas sua realização enfrenta o desafio crítico do equilíbrio entre requisitos rigorosos de latência e alta qualidade visual sob condições de rede imprevisíveis. As abordagens heurísticas existentes de bitrate adaptativo e foveação carecem de adaptabilidade para redes móveis altamente dinâmicas. Isso resulta em um trade-off subótimo entre uso de largura de banda e qualidade visual. Embora abordagens baseadas em dados (ou seja, aprendizado por reforço, RL) tenham sido bem-sucedidas em streaming de vídeo, sua aplicação ao cloud gaming em VR apresenta desafios particulares. As exigências rigorosas de alta resolução, taxa de quadros e latência ultra-baixa são agravadas pela necessidade de inferência granular por quadro para adaptar-se às rápidas mudanças no olhar do usuário e nas condições de rede. Este trabalho apresenta o FovRL, uma estrutura RL para otimizar conjuntamente os parâmetros de foveação e alocação de bitrate em resposta à largura de banda da rede em tempo real. Nosso trabalho é pioneiro na aplicação de RL para codificação foveada em tempo real em cloud gaming imersivo de VR. Avaliações em redes do mundo real revelam que o FovRL melhora a adaptabilidade do bitrate para oferecer qualidade visual perceptual superior, mantendo a latência comparável ao estado da arte (SoTA).
Tsui et al. (Sun,) estudaram esta questão.