Modelagem de Interação Diádica para Geração de Comportamento Social

A comunicação humano-humano é como uma dança delicada onde ouvintes e falantes interagem simultaneamente para manter a dinâmica da conversa. Portanto, um modelo eficaz para gerar comportamentos não verbais de ouvintes requer a compreensão do contexto diádico e da interação. Neste artigo, apresentamos uma estrutura eficaz para criar movimentos faciais 3D em interações diádicas. Trabalhos existentes consideram um ouvinte como um agente reativo com comportamentos reflexivos à voz e aos movimentos faciais do falante. O coração de nossa estrutura é a Modelagem de Interação Diádica (DIM), uma abordagem de pré-treinamento que modela conjuntamente os movimentos dos falantes e ouvintes através de mascaramento e aprendizado contrastivo para aprender representações que capturam o contexto diádico. Para permitir a geração de comportamentos não determinísticos, codificamos tanto os movimentos do ouvinte quanto os do falante em representações latentes discretas, através de VQ-VAE. O modelo pré-treinado é posteriormente ajustado para a geração de movimentos. Experimentos extensivos demonstram a superioridade de nossa estrutura na geração de movimentos dos ouvintes, estabelecendo um novo estado da arte de acordo com as medidas quantitativas que capturam a diversidade e o realismo dos movimentos gerados. Resultados qualitativos demonstram as capacidades superiores da abordagem proposta em gerar expressões, piscadas e gestos de cabeça diversas e realistas.