Key points are not available for this paper at this time.
Neste artigo, apresentamos um sistema de telepresença bidirecional de baixo custo e alta autenticidade, Tele-Aloha, voltado para cenários de comunicação peer-to-peer. Em comparação com sistemas anteriores, o Tele-Aloha utiliza apenas quatro câmeras RGB esparsas, uma GPU de consumo e uma tela autostereoscópica para alcançar comunicação distante de alta resolução (2048x2048), em tempo real (30 fps), com baixa latência (menos de 150ms) e robusta. Como núcleo do Tele-Aloha, propomos um algoritmo eficiente de síntese de visão nova para a parte superior do corpo. Primeiramente, projetamos um estimador de disparidade em cascata para obter uma pista de geometria robusta. Além disso, um rasterizador neural via Gaussian Splatting é introduzido para projetar características latentes na visão alvo e decodificá-las em uma resolução reduzida. Mais ainda, dada a alta qualidade dos dados capturados, aproveitamos um mecanismo de mistura ponderada para refinar a imagem decodificada na resolução final de 2K. Aproveitando uma tela autostereoscópica líder mundial e rastreamento de íris de baixa latência, os usuários podem experimentar uma forte sensação tridimensional mesmo sem qualquer dispositivo de exibição montado na cabeça. Juntos, nosso sistema de telepresença demonstra a sensação de copresença em experimentos da vida real, inspirando a próxima geração de comunicação.
Tu et al. (Qui,) estudaram esta questão.