마이크로소프트, 고효율 이미지 생성 모델 렌즈 공개

주장마이크로소프트 리서치는 이미지 생성 모델 학습에서 데이터의 양보다 상세한 캡션 정보가 효율성을 결정짓는 핵심 요소임을 증명했습니다. 이는 무조건적인 모델 규모 확대가 아닌 데이터의 질적 개선이 학습 효율을 극대화할 수 있음을 보여줍니다.

팩트렌즈 모델은 38억 개의 파라미터를 보유하고 있습니다. 이는 800억 개의 파라미터를 가진 훈위안 이미지 3.0과 같은 대형 모델과 경쟁하는 수준입니다.

팩트렌즈는 유사한 성능을 내는 기존 모델과 비교해 5분의 1 수준의 컴퓨팅 자원만을 소모합니다. 학습 과정에서 자원 효율성을 획기적으로 개선했습니다.

팩트연구팀은 지피티-4.1을 활용해 생성한 8억 개의 이미지-텍스트 쌍인 렌즈-800M 데이터셋을 학습에 사용했습니다. 각 캡션은 평균 100단어 수준으로 구성되어 기존 웹에서 수집된 짧고 모호한 대체 텍스트보다 상세한 정보를 제공합니다.

교차검증웹에서 수집된 일반적인 대체 텍스트는 모호하거나 부정확하여 모델의 학습 신호를 희석하는 문제가 있습니다. 연구팀은 상세한 묘사가 포함된 캡션으로 학습할 때 짧거나 혼합된 캡션을 사용한 경우보다 우수한 결과가 도출됨을 확인했습니다.

팩트렌즈 모델은 텍스트 인코더로 오픈 소스 모델인 지피티-오에스에스를 채택했습니다. 영어로만 학습했음에도 중국어, 프랑스어, 일본어, 스페인어 등 다양한 언어의 프롬프트를 이해합니다.

팩트강력한 언어 인코더를 도입함으로써 모델의 학습 속도가 빨라졌으며 프롬프트 충실도 또한 향상되었습니다.

주장사용자의 모호한 입력을 상세한 프롬프트로 재작성하는 리즈너 기술을 도입했습니다. 이 기술은 모델이 사용자의 의도를 정확하게 파악하도록 돕고 추가적인 학습 없이도 성능을 개선하는 전략을 제시합니다.

팩트추론 속도를 높이기 위해 개발된 렌즈-터보 모델은 단 4단계의 과정만으로 이미지를 생성합니다. 표준 렌즈 모델이 1메가픽셀 이미지를 생성하는 데 약 3초가 소요되는 반면 렌즈-터보는 1초 미만의 속도를 기록합니다.

교차검증렌즈 모델은 프롬프트 충실도와 복잡한 장면 묘사에서 플럭스.2-클라인이나 제트-이미지보다 뛰어난 성능을 보입니다. 다만 일본어나 프랑스어와 같은 특정 언어의 텍스트 렌더링에서는 데이터 부족으로 인한 성능 저하가 일부 관찰됩니다.

팩트마이크로소프트는 렌즈의 코드와 모델 체크포인트를 엠아이티 라이선스로 공개했습니다. 모델 가중치는 허깅 페이스에서 확인할 수 있습니다.

교차검증해당 모델은 연구 목적으로만 제공됩니다. 학습 데이터에 포함된 웹 소스의 특성상 편향되거나 문제 있는 콘텐츠가 생성될 수 있어 상업적 용도로는 권장하지 않습니다.

출처더 디코더(The Decoder)의 보도 내용을 교차 검증했습니다. (https://the-decoder.com/microsoft-researchs-lens-proves-detailed-captions-matter-more-than-raw-scale-for-training-efficient-image-generators/)