Predicción Estocástica de Interacciones Multi-Agente a partir de Observaciones Parciales

Presentamos un método que aprende a integrar información temporal, de un modelo de dinámica aprendido, con información visual ambigua, de un modelo de visión aprendido, en el contexto de agentes que interactúan. Nuestro método se basa en una red neuronal recurrente variacional estructurada en grafo (Graph-VRNN), que se entrena de extremo a extremo para inferir el estado actual del mundo (observado parcialmente), así como para predecir estados futuros. Mostramos que nuestro método supera varias líneas base en dos conjuntos de datos deportivos, uno basado en trayectorias reales de baloncesto y otro generado por un motor de juego de fútbol.