대응관계 없는 온라인 인간 동작 리타게팅

우리는 소스 주체의 동작을 이용해 타깃 주체를 애니메이션하는 비지도 인간 동작 리타게팅을 위한 데이터 기반 프레임워크를 제안한다. 본 방법은 대응관계가 필요 없으며, 소스와 타깃 형태 간 공간 대응도, 소스 동작의 서로 다른 프레임 간 시간적 대응도 요구하지 않는다. 이를 통해 4D 취득 플랫폼이나 소비자 기기로 캡처된 임의의 인간 동작 시퀀스로 타깃 형태를 애니메이션할 수 있다. 본 방법은 장기적 시간적 문맥을 활용하는 골격 동작 리타게팅과 표면 세부 사항을 보존하는 표면 기반 리타게팅 두 기존 연구분야의 장점을 결합하여, 기하학 인지 변형 모델과 골격 인지 동작 전이 방식을 통합한다. 이를 통해 장기적 시간적 문맥을 고려하면서도 표면 세부 정보를 반영할 수 있다. 추론 시 본 방법은 온라인 방식으로 실행되며, 입력을 순차적으로 처리하고 프레임당 한 번의 순전파로 리타게팅을 수행한다. 실험 결과, 학습 중 장기적 시간적 문맥을 포함시키면 골격 동작 정확도와 세부 보존 능력이 향상됨을 확인했다. 또한 본 방법은 관찰되지 않은 동작과 신체 형태에도 일반화가 가능하다. 두 개의 테스트 데이터셋에서 최첨단 결과를 달성함을 입증하였고, 다중 시점 취득 플랫폼의 출력으로 인간 모델을 애니메이션하는 데 활용할 수 있음을 보였다. 코드는 https://gitlab.inria.fr/rrekikdi/humanmotion-retargeting2023 에서 이용할 수 있다.