알리바바 Qwen-Image-2.0의 압축 효율 개선과 생성 단계 단축

주장알리바바의 Qwen-Image-2.0은 모델의 훈련 및 추론 효율성을 극대화하기 위해 압축 기술과 트랜스포머 구조를 혁신적으로 개선했습니다. 이는 이미지 생성 모델이 직면한 연산 비용 문제를 해결하려는 전략적 시도입니다.

팩트Qwen-Image-2.0은 기존 모델이 사용하는 8배 압축 대신 16배 공간 다운샘플링을 적용하여 압축률을 두 배로 높였습니다. 이 과정에서 발생하는 정보 손실은 스킵 연결과 의미론적 구조 학습으로 보완했습니다.

팩트모델은 이미지 생성 시 기존 40단계의 노이즈 제거 과정을 단 4단계로 줄이는 증류 기술을 도입했습니다. 이를 통해 이미지 품질을 유지하면서도 추론 속도를 획기적으로 개선했습니다.

교차검증대부분의 변분 오토인코더 모델은 이미지 품질을 높이기 위해 판별기를 사용하지만, 알리바바 연구진은 이를 대규모 학습에서 불필요하고 불안정하다고 판단하여 제거했습니다. 그럼에도 불구하고 이미지넷 데이터셋에서 경쟁 모델보다 높은 재구성 점수를 기록했습니다.

팩트트랜스포머 구조 내에서는 스위글루 활성화 함수를 도입하여 학습 중 발생하는 극단적인 값의 급증 현상을 방지했습니다. 이는 텍스트와 이미지를 동시에 학습할 때 발생하는 뉴런 포화 문제를 해결하기 위한 조치입니다.

주장사용자의 짧고 모호한 입력을 상세한 설명으로 변환하는 프롬프트 모듈은 모델의 성능을 결정짓는 핵심 요소입니다. 알리바바는 이를 위해 기존의 상세 설명을 역으로 단순화하는 방식의 데이터 학습을 수행했습니다.

팩트최종 튜닝 단계에서는 미학, 프롬프트 충실도, 인물 품질 등을 평가하는 5개의 보상 모델을 사용하여 인간의 선호도에 맞게 모델을 조정했습니다. 또한 효율성을 위해 분류기 없는 가이던스 기법을 학습 단계에만 제한적으로 적용했습니다.

팩트데이터 파이프라인은 오류 발생 시 원인을 분석하여 강화 학습 조정, 데이터 보완, 프롬프트 모듈 재학습 등을 자동으로 수행하는 자가 최적화 시스템으로 구축되었습니다. 인간의 개입은 최종 검토 및 필터링 단계로 최소화되었습니다.

교차검증현재 Qwen-Image-2.0은 알리바바 클라우드 응용 프로그램 인터페이스와 큐원 챗 데모를 통해 제공되고 있으나, 모델 가중치의 공개 여부는 아직 결정되지 않았습니다. 이는 기술 경쟁력 보호와 생태계 확산 사이의 고민을 보여줍니다.

출처알리바바의 Qwen-Image-2.0 기술 사양과 관련하여 더 디코더의 보도 내용을 교차 검증했습니다. (https://the-decoder.com/alibabas-qwen-image-2-0-doubles-compression-and-cuts-generation-steps-from-40-to-4/)