AI 영상 생성 모델의 물리적 추론 능력 한계와 벤치마크 결과

주장최신 AI 영상 생성 모델은 시각적으로 정교한 결과물을 생성하지만, 실제 세계의 물리 법칙이나 논리적 인과관계를 이해하는 능력은 여전히 부족합니다. 이번 연구는 시각적 품질과 실제 세계에 대한 이해가 서로 다른 영역임을 증명합니다.

팩트칭화대학교 연구진은 영상 생성 모델의 물리, 사회, 논리, 정보 처리 능력을 평가하는 월드 리즌 벤치(WorldReasonBench)를 개발했습니다. 이 벤치마크는 약 400개의 테스트 사례를 활용하여 모델의 추론 능력을 검증합니다.

팩트연구진은 소라 2(Sora 2), 클링(Kling), 시댄스 2.0(SeaDance 2.0), 베오 3.1-패스트(Veo 3.1-Fast) 등 5개의 상용 모델과 6개의 오픈소스 모델을 비교 평가했습니다. 상용 모델은 오픈소스 모델보다 핵심 추론 지표에서 약 2배 높은 점수를 기록했습니다.

팩트바이트댄스의 시댄스 2.0이 전체 평가에서 가장 우수한 성적을 거두었습니다. 베오 3.1-패스트는 세계 지식 분야에서, 소라 2는 인간 중심 장면 생성에서 각각 강점을 보였습니다.

팩트모든 모델은 공통으로 논리적 추론 항목에서 가장 낮은 점수를 기록했습니다. 이는 모델들이 복잡한 인과관계를 파악하는 데 한계를 보이고 있음을 의미합니다.

교차검증오픈소스 모델은 상세한 프롬프트를 제공받을 경우 성능이 크게 향상되는 경향을 보였습니다. 이는 오픈소스 모델이 상용 모델보다 프롬프트 품질에 더 의존하며, 근본적인 추론 능력은 상용 모델보다 낮다는 점을 시사합니다.

팩트연구진은 월드 리워드 벤치(WorldRewardBench) 데이터셋도 함께 공개했습니다. 이 데이터셋은 훈련된 평가자가 순위를 매긴 약 6,000개의 영상 비교 데이터를 포함하며, 모델의 추론 품질과 시간적 일관성을 평가합니다.

주장영상 생성 모델이 진정한 세계 모델로 거듭나려면 시각적 화려함보다 인과관계 파악과 정보의 일관성 유지 능력이 필수적입니다. 현재 기술 수준은 아직 그 단계에 도달하지 못했습니다.

교차검증AI 업계 내에서도 영상 생성 모델을 세계 모델로 정의할 수 있는지에 대해 의견이 갈립니다. 메타의 얀 르쿤은 소라와 같은 시스템을 막다른 길로 평가하지만, 딥마인드의 데미스 하사비스는 이를 세계 모델로 나아가는 과정으로 봅니다.

팩트이번 연구에서 사용된 자동화된 평가 지표는 인간의 판단과 높은 상관관계를 보였습니다. 이는 기존의 단순한 평가 방식보다 모델의 실제 추론 능력을 더 정확하게 측정할 수 있음을 뜻합니다.

출처더 디코더(The Decoder) 보도와 칭화대학교 월드 리즌 벤치 연구 보고서를 교차 검증했습니다. 관련 데이터와 코드는 깃허브(GitHub)에서 확인할 수 있습니다.