현실 세계 의사결정을 위한 새로운 언어로서의 비디오

텍스트와 비디오 데이터는 인터넷에 풍부하게 존재하며 다음 토큰 또는 프레임 예측을 통해 대규모 자가 지도 학습을 지원합니다. 그러나 이들은 동등하게 활용되지 않았습니다: 언어 모델은 실제 세계에 상당한 영향을 미쳤지만, 비디오 생성은 주로 미디어 엔터테인먼트에 한정되어 있었습니다. 그러나 비디오 데이터는 언어로 표현하기 어려운 물리적 세계에 대한 중요한 정보를 포착합니다. 이러한 격차를 해결하기 위해 우리는 실제 세계에서 문제를 해결하기 위해 비디오 생성을 확장할 수 있는 저평가된 기회에 대해 논의합니다. 우리는 언어와 유사하게 비디오가 인터넷 지식을 흡수하고 다양한 작업을 표현할 수 있는 통합 인터페이스 역할을 할 수 있음을 관찰합니다. 더 나아가, 우리는 언어 모델처럼 비디오 생성이 문맥 내 학습, 계획 및 강화 학습과 같은 기술을 통해 계획자, 에이전트, 계산 엔진 및 환경 시뮬레이터 역할을 할 수 있음을 보여줍니다. 우리는 로봇공학, 자율주행 및 과학과 같은 분야에서 주요 영향 기회를 식별하며, 비디오 생성의 이러한 고급 기능이 실현 가능하다는 최근 연구에 의해 지원됩니다. 마지막으로 우리는 진행을 저해하는 비디오 생성의 주요 도전 과제를 식별합니다. 이러한 도전 과제를 해결하면 비디오 생성 모델이 더 넓은 AI 애플리케이션에서 언어 모델과 함께 독특한 가치를 입증할 수 있게 될 것입니다.