세계 모델의 정의와 텍스트-비디오 생성 모델의 한계

주장세계 모델은 단순히 영상을 생성하는 단계를 넘어 환경을 인식하고 상호작용하며 기억을 유지해야 합니다. 이러한 기준에서 볼 때, 소라(Sora)와 같은 기존 텍스트-비디오 생성 모델은 실시간 피드백 루프가 부족하여 진정한 세계 모델로 분류하기 어렵습니다.

팩트이번 연구에는 북경대학교, 콰이쇼우 테크놀로지, 싱가포르 국립대학교, 칭화대학교 등 다수의 국제 연구 기관이 참여했습니다. 이들은 세계 모델 연구의 파편화된 환경을 통합하고자 오픈월드립(OpenWorldDreamer) 프로젝트를 시작했습니다.

교차검증오픈에이아이(OpenAI)의 소라나 구글의 베이오(Veo)는 흔히 세계 시뮬레이터로 불립니다. 그러나 연구진은 이 모델들이 물리적 관계를 일부 이해하더라도 실제 환경과의 상호작용이 결여되어 있어 세계 모델의 핵심 과제 수행은 불가능하다고 지적합니다.

팩트연구진은 세계 모델의 핵심 과제로 상호작용형 비디오 생성, 다중 모달 추론, 비전-언어-행동 세 가지 영역을 제시했습니다. 이는 사용자 입력에 반응하고 공간적, 시간적, 인과적 관계를 파악하는 능력을 포함합니다.

팩트오픈월드립은 입력 처리, 합성, 추론, 3D 재구성, 기억이라는 5가지 모듈로 구성됩니다. 연구자는 이 프레임워크를 활용해 서로 다른 모델을 동일한 환경에서 비교하고 평가합니다.

팩트엔비디아의 A800 및 H200 그래픽 처리 장치(GPU)를 사용한 벤치마크 결과, 훈위안-월드플레이(Hunyuan-WorldPlay)가 시각적 품질에서 높은 점수를 받았습니다. 엔비디아의 코스모스(Cosmos)는 복잡한 사용자 입력 처리 능력에서 우위를 보였습니다.

교차검증기존 매트릭스-게임-2(Matrix-Game-2) 모델은 처리 속도는 빠르지만 긴 시퀀스에서 색상 왜곡이 발생합니다. 브이지지티(VGGT) 모델은 3D 장면 재구성 시 카메라 이동에 따른 기하학적 불일치와 텍스처 흐림 현상을 나타냅니다.

주장현재의 하드웨어 설계가 세계 모델의 발전을 저해하고 있습니다. 현대의 프로세서는 토큰 단위 처리에 최적화되어 있어 데이터 집약적인 세계 모델의 인식 작업에는 비효율적입니다.

교차검증트랜스포머(Transformer) 구조가 현재 대규모 인공지능 모델을 구동하고 있지만, 세계 모델을 위해서는 새로운 칩 아키텍처와 구조적 변화가 필요합니다. 다만 바겔(VAGEL)과 같은 기존 비전-언어 모델은 잠재적인 가능성을 보여줍니다.

출처더 디코더(The Decoder) 보도 및 아카이브(Arxiv), 깃허브(GitHub) 자료를 교차 검증했습니다.