바이트댄스 확산 언어 모델 iLLaDA의 성능 분석

주장바이트댄스와 인민대학교 연구진이 개발한 iLLaDA는 기존의 자기회귀 방식이 아닌 확산 방식을 채택한 8B 규모의 언어 모델입니다. 이 모델은 확산 모델이 자기회귀 모델의 성능을 따라잡을 수 있다는 가능성을 제시합니다.

팩트기존의 GPT나 Claude와 같은 모델은 단어를 순차적으로 생성하는 자기회귀 방식을 사용합니다. 반면 iLLaDA와 같은 확산 모델은 마스킹된 토큰을 병렬적으로 정제하며 전체 문맥을 동시에 고려합니다.

팩트iLLaDA는 12조 개의 토큰으로 사전 학습되었습니다. 이는 이전 모델인 LLaDA보다 학습 데이터 규모가 대폭 증가한 수치입니다.

팩트이러한 학습 규모 확대로 iLLaDA는 BBH 추론 테스트에서 21.6점의 성능 향상을 기록했습니다.

팩트iLLaDA-Base 모델의 평균 점수는 63.9점입니다. 이는 자기회귀 모델인 Qwen2.5 7B의 63.3점을 근소하게 앞서는 결과입니다.

주장이러한 수치는 확산 모델이 기초 학습 단계에서 충분한 경쟁력을 갖출 수 있음을 의미합니다.

팩트iLLaDA는 기존의 Qwen2.5 체크포인트를 기반으로 미세 조정한 Dream 7B 모델보다 우수한 성능을 보입니다. iLLaDA는 처음부터 새로 학습된 모델임에도 평균 63.9점을 기록하여 61.4점인 Dream 7B를 상회합니다.

교차검증iLLaDA-Instruct 모델은 67.1점을 기록했습니다. 이는 77.1점인 Qwen2.5 7B Instruct 모델보다 낮은 성능입니다.

주장연구진은 Qwen2.5에 적용된 강화 학습 기반의 정렬 과정이 iLLaDA에는 부족하기 때문이라고 분석합니다.

교차검증확산 모델은 복잡한 추론 작업에서 반복적인 루프에 빠지는 현상이 보고되었습니다. 이는 확산 모델이 실무 환경에서 고품질의 결과물을 생성하는 데 있어 해결해야 할 과제입니다.

팩트구글 딥마인드가 공개한 DiffusionGemma는 속도 향상에 초점을 맞춘 확산 모델입니다. 그러나 이 모델은 MMLU와 같은 벤치마크에서 기존 Gemma 4 모델보다 낮은 점수를 기록했습니다.

주장확산 언어 모델은 저지연 환경이나 특정 작업에서 강점을 보일 수 있습니다. 하지만 현재까지는 고품질의 생산 환경보다는 연구 및 실험적 용도로 더 적합하다는 평가가 지배적입니다.

출처바이트댄스의 iLLaDA 성능과 관련한 내용은 더 디코더(The Decoder)의 보도를 통해 교차 검증했습니다.