어센드 슈퍼팟 기반 딥시크-V4 풀 파라미터 학습 최적화 기술 SLAI T-Rex 공개
중국 연구진이 어센드 NPU 기반 슈퍼팟 환경에서 딥시크-V4 모델의 학습 효율을 3배 가까이 끌어올리는 최적화 프레임워크를 개발했습니다. 이를 통해 복잡한 운영 최적화 문제 해결 능력을 갖춘 특화 모델을 구축하고 기존 모델 대비 뛰어난 성능을 입증했습니다.
팩트동팡 리를 포함한 65명의 연구진은 어센드(Ascend) NPU 기반 슈퍼팟(SuperPOD) 환경에서 딥시크-V4(DeepSeek-V4) 모델군을 효율적으로 학습시키는 SLAI T-Rex 프레임워크를 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.
주장조 단위 파라미터(매개변수)를 가진 MoE(전문가 혼합, Mixture of Experts) 모델의 전체 파라미터 사후 학습은 메모리 압박과 통신 병목 현상으로 인해 대규모 분산 학습에서 심각한 시스템적 난제를 발생시킵니다.
팩트연구진은 모델 수준의 병렬화, 연산과 통신 조율, 저수준 커널(Kernel, 하드웨어 제어 핵심 코드) 실행을 아우르는 계층적 최적화 프레임워크를 설계했습니다.
팩트이 시스템은 34.22%의 MFU(모델 연산 효율, Model FLOPs Utilization)를 기록했습니다. 이는 기존 오픈소스 학습 방식 대비 2.93배 향상된 수치입니다.
교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다.
주장이번 성과는 GPU 중심의 대규모 언어 모델 학습 생태계에서 벗어나, 어센드 NPU 인프라를 활용한 고효율 학습 경로를 제시했다는 점에서 큰 의미가 있습니다.
팩트SLAI T-Rex는 운영 연구(OR, Operations Research) 분야의 복잡한 문제를 해결하기 위해 CPT(연속 사전 학습)와 SFT(지도 미세 조정) 워크플로우를 통합했습니다.
팩트연구진은 1만 개의 고품질 SFT 샘플 데이터셋을 구축했습니다. 이 데이터셋은 4개의 작업 범주와 3개의 문제 표현 방식을 포함합니다.
팩트딥시크-V4-플래시 모델을 기반으로 한 특화 모델은 제로샷(Zero-shot, 사전 학습 없이 수행) Pass@1 평가에서 71.81%의 점수를 기록했습니다.
팩트이는 GPT-5.4-Mini 모델보다 3.98%포인트, 기존 딥시크-V4-플래시 모델보다는 11.27%포인트 높은 성능입니다.
교차검증해당 연구는 특정 하드웨어 환경인 어센드 슈퍼팟에 최적화되어 있어, 다른 이기종 컴퓨팅 환경에서의 재현성이나 범용성은 추가적인 검증이 필요합니다.
출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.20145)을 참고했습니다.
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
