적절한 장소, 적절한 시간! 비정상 목표를 위한 ObjectNav

우리는 실내 환경에서 비정상적이고 잠재적으로 가려진 목표에 대한 ObjectNav 작업을 해결하기 위한 새로운 접근 방식을 제시합니다. 이 작업을 포터블 ObjectNav(또는 P-ObjectNav)라고 하며, 이 연구에서는 그 정의, 타당성 및 새로운 메모리 강화 LLM 기반 정책을 사용한 탐색 벤치마크를 제시합니다. 목표 객체 위치가 각 에피소드에 대해 고정된 ObjNav와 달리, P-ObjectNav는 에피소드 중에 목표 객체가 이동하는 도전적인 경우를 다룹니다. 이는 탐색에 시간 민감성의 층을 추가하며, 에이전트가 인간 중심 환경에서 이동 가능한 목표(예: 잘못 놓인 지갑)를 찾아야 하는 시나리오에 특히 관련이 있습니다. 에이전트는 목표의 정확한 위치뿐만 아니라 시각적 기준을 위한 그 위치에 목표가 존재하는 시간도 추정해야 하며, 이는 작업의 가능성에 대한 질문을 제기합니다. 우리는 객체 배치에 대한 두 가지 경우를 유추하여 이 문제를 해결합니다: 하나는 물체가 루틴이나 경로를 따르는 경우이고, 다른 하나는 무작위로 배치되는 경우입니다. 우리는 이러한 실험을 위해 Matterport3D를 동적화하고, PPO와 LLM 기반 탐색 정책을 수정하여 평가합니다. PPO를 사용하여, 우리는 무작위 경우에서 에이전트 성능이 정체되는 반면, 루틴을 따르는 환경에서 에이전트는 계속 개선되고 있음을 관찰하여 P-ObjectNav가 루틴을 따르는 객체 배치가 있는 환경에서 해결 가능하다고 유추할 수 있습니다. LLM 기반 정책에 메모리 강화를 사용하여 P-ObjectNav에 대한 벤치마크를 설정합니다. 우리의 메모리 강화 에이전트는 객체 배치 시나리오 전반에 걸쳐 비메모리 기반 대립물보다 성공률(SR)과 경로 길이에 가중된 성공률(SRPL) 측정 시 각각 평균 71.76%와 74.68% 우수한 성능을 보이며 P-ObjectNav 성능 개선에 대한 메모리의 영향을 보여줍니다. 우리의 코드와 데이터셋은 공개될 예정입니다.