Know3D, 텍스트로 3D 객체 뒷면 제어하는 기술 개발

주장Know3D는 단일 이미지 기반 3D 생성 과정에서 발생하는 사각지대 문제를 해결하기 위해 개발되었습니다. 기존 모델은 보이지 않는 뒷면을 임의로 추측하여 생성하므로 물리적으로 불가능한 형태를 자주 만듭니다.

팩트중국 내 여러 대학 연구진으로 구성된 개발팀은 3D 학습 데이터 부족이 모델의 세계 지식 습득을 방해하는 핵심 원인이라고 분석했습니다.

팩트Know3D는 큐웬2.5-브이엘(Qwen2.5-VL) 언어 모델, 큐웬-이미지-에디트(Qwen-Image-Edit) 이미지 생성기, 마이크로소프트의 트렐리스.2(Trellis.2) 3D 생성기를 결합한 구조입니다. 언어 모델이 텍스트 지시를 읽고 이미지 생성기가 이를 공간 구조 정보로 변환하여 3D 생성기를 제어합니다.

교차검증연구진은 언어 모델의 출력을 3D 네트워크에 직접 입력하는 방식은 효과가 없음을 확인했습니다. 언어 모델의 표현은 지나치게 추상적이어서 3D 기하학적 구조를 생성하기에 충분한 공간 정보를 담고 있지 않기 때문입니다.

팩트연구팀은 이미지 생성 모델의 중간 상태를 활용하는 방식을 채택했습니다. 이는 최종 이미지의 픽셀 오류를 전달하지 않으면서도 의미론적 정보와 공간 정보를 모두 포함하는 최적의 방법입니다.

교차검증이미지 생성 과정에서 너무 이른 시점에 정보를 추출하면 픽셀 세부 사항에만 치중하게 됩니다. 반대로 너무 늦은 시점에 추출하면 노이즈가 발생하므로, 전체 과정의 4분의 1 지점에서 상태를 추출하는 방식이 가장 효과적입니다.

팩트Know3D는 에이치와이3디-벤치(HY3D-Bench) 벤치마크에서 입력 이미지와 생성된 3D 객체 간의 의미론적 일치도 부문에서 최고 점수를 기록했습니다. 기하학적 품질 면에서도 기존 단일 이미지 생성 방식보다 우수한 성능을 보입니다.

주장이 기술의 핵심 장점은 사용자가 텍스트 프롬프트를 통해 3D 객체의 뒷면을 직접 제어할 수 있다는 점입니다. 사용자는 커피잔이나 의자 같은 객체의 앞면은 유지하면서 뒷면의 형태를 텍스트 설명에 맞춰 자유롭게 변형합니다.

교차검증최종 결과물의 품질은 기반이 되는 언어 모델의 텍스트 이해 능력에 크게 의존합니다. 언어 모델이 프롬프트를 잘못 해석하면 3D 출력물 역시 의도와 다르게 생성될 위험이 있습니다.

팩트앞으로 더 강력한 멀티모달 모델이 도입되면 이러한 해석 오류 문제는 크게 줄어들 것으로 전망됩니다. Know3D는 3D 생성 분야에서 데이터 부족과 제어력 부재라는 한계를 극복하는 중요한 이정표가 됩니다.

출처디코더(The Decoder)의 보도 내용을 교차 검증했습니다.