VirtualHome: Simulando Actividades Domésticas a Través de Programas

En este artículo, nos interesa modelar actividades complejas que ocurren en un hogar típico. Proponemos usar programas, es decir, secuencias de acciones e interacciones atómicas, como una representación de alto nivel de tareas complejas. Los programas son interesantes porque proporcionan una representación no ambigua de una tarea y permiten a los agentes ejecutarlas. Sin embargo, en la actualidad, no existe una base de datos que proporcione este tipo de información. Con este objetivo, primero recopilamos programas para una variedad de actividades que ocurren en los hogares de las personas, a través de una interfaz tipo juego utilizada para enseñar a los niños a programar. Usando el conjunto de datos recopilado, mostramos cómo podemos aprender a extraer programas directamente de descripciones en lenguaje natural o de videos. Luego, implementamos las (inter)acciones atómicas más comunes en el motor de juegos Unity3D y usamos nuestros programas para "guiar" a un agente artificial para ejecutar tareas en un entorno doméstico simulado. Nuestro simulador VirtualHome nos permite crear un gran conjunto de datos de videos de actividad con una base real rica, lo que permite el entrenamiento y la prueba de modelos de comprensión de video. Además, mostramos ejemplos de nuestro agente realizando tareas en nuestro VirtualHome basado en descripciones de lenguaje.