Razonamiento sobre interacciones físicas con predicción y planificación orientadas a objetos

Las factorizaciones basadas en objetos proporcionan un nivel útil de abstracción para interactuar con el mundo. Sin embargo, construir representaciones explícitas de objetos a menudo requiere señales de supervisión que son difíciles de obtener en la práctica. Presentamos un paradigma para aprender representaciones centradas en objetos para la comprensión de escenas físicas sin supervisión directa de las propiedades de los objetos. Nuestro modelo, Predicción y Planificación Orientadas a Objetos (O2P2), aprende conjuntamente una función de percepción para mapear desde observaciones de imágenes a representaciones de objetos, una función de interacción física por pares para predecir la evolución temporal de una colección de objetos, y una función de renderizado para mapear objetos de vuelta a píxeles. Para la evaluación, consideramos no solo la precisión de las predicciones físicas del modelo, sino también su utilidad para tareas posteriores que requieren una representación accionable de la física intuitiva. Después de entrenar nuestro modelo en una tarea de predicción de imágenes, podemos usar sus representaciones aprendidas para construir torres de bloques más complicadas que las observadas durante el entrenamiento.