몰모모션: 언어 기반 3D 동작 예측 모델 공개

팩트앨런 AI 연구소는 언어 기반 3D 동작 예측 모델 '몰모모션(MolMoMotion)'을 공개했습니다. 이 모델은 기존 사후적 동작 인식 기술을 넘어 미래 움직임을 예측하는 데 초점을 맞춥니다.

주장몰모모션은 로봇이 물체를 정확하게 잡거나 영상 생성 모델이 물리적으로 타당한 다음 프레임을 만드는 데 필수적인 기술입니다. 이는 인공지능 분야의 중요한 진전을 의미합니다.

팩트몰모모션은 비디오 프레임, 물체의 3D 지점, 수행할 동작에 대한 텍스트 설명을 입력받아 향후 몇 초간의 3D 공간 내 이동 경로를 예측합니다. 이 모델은 기존 예측 방식보다 훨씬 강력한 성능을 보입니다.

교차검증동작 예측은 단순히 관찰하는 것보다 훨씬 어려운 작업입니다. 하지만 이 기술은 로봇 계획이나 제어 가능한 영상 생성 등 다양한 응용 분야에서 높은 활용 가치를 지닙니다.

팩트앨런 AI 연구소는 116만 개의 비디오에서 추출한 3D 포인트 궤적 데이터셋인 '몰모모션-1M'을 함께 공개했습니다. 또한 2,700개의 비디오 클립으로 구성된 인간 검증 벤치마크 '포인트모션벤치(PointMotionBench)'도 배포했습니다.

주장몰모모션은 동작을 물체에 부착된 3D 포인트로 표현하여 효율성을 극대화했습니다. 이 방식은 전체 영상을 렌더링하는 비용 없이도 물리적 움직임을 정확하게 포착할 수 있습니다.

팩트이 모델은 특정 카테고리에 얽매이지 않는 범용성을 가집니다.

팩트몰모모션은 카메라 시점 변화에도 일관된 3D 좌표를 유지합니다. 또한 로봇 정책이나 영상 생성 모델이 직접 사용할 수 있는 간결한 궤적 데이터를 제공합니다.

팩트몰모모션은 '몰모 2(MolMo 2)' 모델을 백본으로 사용하여 언어 지시와 이미지 내 물체 및 지점을 연결합니다. 모델은 단계별 좌표를 예측하는 자기회귀 방식과 연속적인 공간에서 움직임을 예측하는 흐름 매칭 방식으로 나뉩니다.

교차검증데이터셋 구축 과정에서 일반 비디오의 노이즈와 깊이 추정 오류가 발생할 수 있습니다. 연구진은 이를 해결하기 위해 일관성 있게 움직이지 않는 지점을 필터링하고 궤적을 평활화하는 자동화 파이프라인을 도입했습니다.

팩트몰모모션-1M 데이터셋은 736개의 동작 유형과 5,600개의 서로 다른 물체를 포함합니다. 이는 현재까지 공개된 동작 설명이 포함된 객체 기반 3D 포인트 궤적 데이터 중 가장 큰 규모입니다.

주장이처럼 방대한 데이터셋과 벤치마크는 향후 3D 동작 예측 연구의 발전을 가속화할 것으로 기대됩니다. 이는 연구자들이 더욱 정교하고 실제와 같은 인공지능 모델을 개발하는 데 중요한 기반을 제공합니다.

출처앨런 AI 연구소의 공식 블로그(https://huggingface.co/blog/allenai/molmomotion)와 연구 논문(https://allenai.org/papers/molmomotion)을 교차 검증했습니다.