Aprendizado de Representação Causal Multi-Visão com Observabilidade Parcial

Apresentamos uma estrutura unificada para estudar a identificabilidade de representações aprendidas a partir de visualizações observadas simultaneamente, como diferentes modalidades de dados. Permitemo-nos um cenário de observação parcial, em que cada visão constitui uma mistura não linear de um subconjunto de variáveis latentes subjacentes, que podem estar relacionadas causalmente. Provamos que a informação compartilhada entre todos os subconjuntos de qualquer número de visões pode ser aprendida até uma bietiva suave usando aprendizado contrastivo e um único codificador por visão. Também fornecemos critérios gráficos indicando quais variáveis latentes podem ser identificadas por meio de um conjunto simples de regras, que chamamos de álgebra de identificabilidade. Nossa estrutura geral e resultados teóricos unificam e estendem vários trabalhos anteriores sobre ICA não linear de múltiplas visões, desenredamento e aprendizado de representação causal. Validamos experimentalmente nossas afirmações em conjuntos de dados numéricos, de imagem e multimodais. Além disso, demonstramos que o desempenho dos métodos anteriores é recuperado em diferentes casos especiais de nossa configuração. No geral, descobrimos que o acesso a múltiplas visões parciais nos permite identificar uma representação mais detalhada, sob a suposição geralmente mais branda de observabilidade parcial.