확산 변환기 정보 전달 구조 개선을 통한 이미지 생성 효율 극대화

팩트차오 쉬(Chao Xu)를 포함한 다국적 연구진은 확산 변환기(DiT, Diffusion Transformers)의 정보 전달 구조를 개선하는 새로운 방법론을 제시했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장기존 확산 변환기는 정보가 층을 통과하며 누적되는 방식인 잔차 연결(Residual Connection)을 일반 변환기 모델에서 그대로 가져와 사용했습니다. 연구진은 이 방식이 정보 흐름의 효율성을 저해한다고 판단했습니다.

팩트연구진은 정보 흐름 분석을 통해 세 가지 문제점을 발견했습니다. 첫째는 층이 깊어질수록 정보의 크기가 단조롭게 커지는 현상입니다. 둘째는 역전파 과정에서 그라디언트 소멸(Gradient Vanishing, 신경망 학습 시 오차 신호가 층을 거치며 사라지는 현상)이 발생하는 점입니다. 셋째는 블록 단위의 정보 중복성입니다.

주장이러한 문제를 해결하기 위해 연구진은 확산 적응형 라우팅(DAR, Diffusion-Adaptive Routing)을 제안했습니다. 이 기술은 학습 가능한 방식으로 시간 단계(Timestep)에 따라 정보를 유연하게 통합합니다.

팩트DAR은 기존의 단순한 잔차 연결을 대체하는 기술입니다. 이 기술은 하위 계층 출력값의 이력을 비증분적으로 집계합니다.

팩트실험 결과, DAR은 이미지넷(ImageNet) 256x256 데이터셋에서 SiT-XL/2 모델의 FID(Fréchet Inception Distance, 생성된 이미지의 품질과 다양성을 측정하는 지표)를 9.67에서 7.56으로 2.11 개선했습니다.

팩트학습 효율성 측면에서도 괄목할 만한 성과를 거뒀습니다. DAR을 적용하면 기존 모델 대비 8.75배 적은 학습 반복 횟수로 동일한 품질의 결과물을 얻을 수 있습니다.

팩트또한, 기존의 표현 정렬 기법인 REPA와 결합할 경우 학습 초기 단계에서 2배의 가속 효과를 냅니다. 이는 정보 전달 구조 개선이 기존 최적화 기법과 독립적으로 작동함을 의미합니다.

주장DAR은 사전 학습뿐만 아니라 대규모 텍스트-이미지(T2I) 모델의 미세 조정 단계에서도 효과적입니다. 특히 분포 일치 증류(Distribution Matching Distillation) 과정에서 이미지의 고주파 세부 정보를 효과적으로 보존합니다.

교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 정식 동료 평가(Peer Review)를 거치지 않았습니다. 따라서 기술적 성과에 대한 객관적인 검증은 향후 학술 대회 발표 등을 통해 이루어질 예정입니다.

교차검증DAR의 성능 향상은 특정 데이터셋인 이미지넷에 최적화된 결과일 가능성이 있습니다. 다양한 도메인과 대규모 데이터셋에서의 일반화 가능성(Generalizability)과 복잡한 모델 구조에서의 설명 가능성(Explainability)은 추가적인 검증이 필요합니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2605.20708)을 참고했습니다.