Vidu S1, 실시간 음성 제어 비디오 생성 모델 공개

주장새로운 실시간 상호작용 비디오 생성 모델 'Vidu S1'이 공개되었습니다. 이 모델은 음성 명령으로 디지털 캐릭터를 제어하며 비디오 콘텐츠를 생성합니다.

팩트Vidu S1은 '터보디퓨전(TurboDiffusion)'과 '터보서브(TurboServe)' 기술을 기반으로 개발되었습니다. 일반 소비자용 그래픽 처리 장치(GPU)에서 540p 해상도의 비디오를 초당 최대 42프레임(FPS)으로 실시간 출력합니다.

주장사용자는 음성 지시를 통해 비디오 생성 콘텐츠를 실시간으로 제어할 수 있습니다. 이는 기존 비디오 생성 방식과 차별화되는 핵심 기능입니다.

팩트Vidu S1은 무한 길이의 실시간 비디오 생성을 지원합니다. 생성된 비디오에서 흐림(blurring), 표류(drift), 시각적 왜곡(visual distortion) 현상이 발생하지 않는다고 연구진은 설명합니다.

주장이 모델은 사용자 맞춤형 경험을 제공합니다. 사용자는 실제 인물, 애니메이션 캐릭터, 반려동물 등 원하는 이미지를 업로드할 수 있습니다. 다양한 음성 톤을 선택하여 개인화된 콘텐츠를 만들 수 있습니다.

팩트연구진은 Vidu S1이 모든 평가 지표에서 최고의 성능을 달성했다고 밝혔습니다. 또한 실시간 추론(real-time inference) 요구 사항을 완벽하게 충족한다고 덧붙였습니다.

교차검증이 연구는 아카이브(arxiv)에 선공개된 논문입니다. 정식 동료 평가(peer review)를 거치지 않았으므로 학계의 추가적인 검증이 필요합니다.

교차검증연구진은 '모든 평가 지표에서 최고 성능'이라고 주장했습니다. 그러나 구체적인 평가 지표의 종류나 비교 대상 모델이 명시되지 않았습니다. 이는 객관적인 성능 검증에 한계로 작용할 수 있습니다.

주장Vidu S1은 콘텐츠 제작, 가상 비서, 엔터테인먼트 등 다양한 분야에 혁신을 가져올 잠재력을 가집니다. 실시간 상호작용 기능은 사용자 경험을 크게 향상할 것으로 기대됩니다.

팩트Vidu S1의 플레이 가능한 온라인 데모가 제공됩니다. 사용자는 웹사이트(https://vidu.com/vidu-stream)에서 직접 모델의 기능을 체험할 수 있습니다.

팩트이 연구의 저자는 Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen 외 17명입니다. 연구진 소속 정보는 arxiv 등록 기준 명시되지 않았습니다.

주장실시간으로 음성을 통해 비디오를 생성하고 제어하는 기술은 인공지능 기반 콘텐츠 제작의 새로운 지평을 열었습니다. 이는 사용자 참여형 미디어의 발전을 가속화할 것입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.03118)을 참고했습니다.