넷플릭스, 영상 내 객체와 물리 효과 제거하는 AI 'VOID' 공개

주장넷플릭스는 영상 내 객체를 단순히 삭제하는 수준을 넘어, 해당 객체가 주변 환경에 남긴 물리적 영향까지 복구하는 인공지능 프레임워크 VOID를 개발했습니다. 이는 기존 기술의 한계를 극복하고 영상 편집의 완성도를 높입니다.

팩트VOID는 'Video Object and Interaction Deletion'의 약자로, 영상 속 객체와 그 객체가 유발한 상호작용을 함께 삭제하는 시스템입니다. 이 기술은 객체가 사라진 빈 공간의 물리적 상태를 재구성하는 데 특화되어 있습니다.

팩트해당 프레임워크는 알리바바의 비디오 확산 모델인 CogVideoX를 기반으로 구축되었습니다. 구글의 Kubric과 어도비의 HUMOTO 데이터를 활용하여 상호작용 탐지 기능을 미세 조정했습니다.

팩트객체 식별 및 분석 과정에는 구글의 Gemini 3 Pro 모델이 사용되어 영상 내 영향을 받는 영역을 파악합니다. 메타의 SAM2 모델은 제거할 객체를 정밀하게 분할합니다.

팩트시스템은 광학 흐름 기술을 활용한 선택적 2차 보정 과정을 거칩니다. 이를 통해 객체 제거 후 발생할 수 있는 형태 왜곡을 효과적으로 수정합니다.

교차검증AI가 생성한 물리적 재구성이 실제 촬영 영상의 자연스러움을 완벽하게 대체할 수 있는지는 추가 검증이 필요합니다. 복잡한 배경이나 역동적인 움직임이 많은 영상에서는 왜곡이 발생할 가능성이 존재합니다.

팩트이번 프로젝트는 넷플릭스 연구진과 불가리아 소피아 대학교의 연구소인 INSAIT의 협업으로 진행되었습니다. 개발된 코드와 연구 논문, 데모 버전은 깃허브와 아카이브, 허깅페이스에 공개되었습니다.

팩트VOID는 아파치 2.0 라이선스를 적용하여 배포되었습니다. 이 라이선스는 사용자가 해당 기술을 상업적인 목적으로 자유롭게 활용하도록 허용합니다.

주장이번 오픈소스 공개는 영상 제작 업계에 변화를 가져옵니다. 고도의 기술력이 필요한 영상 수정 작업을 자동화하여 제작 비용과 시간을 단축합니다.

출처더 디코더(The Decoder)의 보도 내용과 깃허브 프로젝트 페이지를 교차 검증했습니다.