지식 증류 비용 절감과 효율화 기술 도입

주장지식 증류는 거대 언어 모델의 성능을 작은 모델로 전이하는 핵심 기술이지만, 온라인 증류 방식은 메모리와 컴퓨팅 자원을 과도하게 소비합니다.

팩트키미 케이스리 모델은 2조8000억 개의 매개변수를 보유하고 있으며, 모델을 불러오는 작업에만 약 3테라바이트의 영상 기억 장치가 필요합니다.

팩트거대 모델을 효율적으로 운영하기 위해 모델 압축과 지식 증류는 필수적인 표준 관행으로 자리 잡고 있습니다.

교차검증온라인 증류 방식은 교사 모델과 학생 모델을 동시에 기억 장치에 올리기 때문에, 120B 규모 모델의 경우 단일 학습 반복에서 약 250기가바이트의 기억 장치를 요구합니다.

교차검증이 수치는 최신 그래픽 처리 장치의 단일 용량을 초과하는 수준이며, 대규모 실험을 수행하는 데 걸림돌이 됩니다.

팩트연구진은 교사 모델의 출력을 매번 계산하는 대신, 상위 100개의 토큰 로짓을 미리 기록하여 학습 과정에서 교사 모델을 기억 장치에서 완전히 제외하는 오프라인 증류를 도입했습니다.

팩트두 번째 해결책은 융합된 청크 단위 쿨백-라이블러 발산 손실 함수이며, 이 방식은 데이터를 작은 단위로 나누어 처리함으로써 기억 장치 사용량을 유지합니다.

교차검증기존 밀집 방식은 전체 비교 표를 기억 장치에 유지해야 하므로 문맥 길이가 길어질수록 기억 장치 사용량이 급증합니다.

교차검증반면 융합 청크 방식은 청크 단위로 계산한 뒤 즉시 처리하여 기억 장치 급증 현상을 막습니다.

팩트8천 토큰 문맥 환경에서 실험한 결과, 융합 청크 방식은 기존 온라인 증류 방식 대비 기억 장치 사용량을 102.8기가바이트에서 58.3기가바이트로 낮췄습니다.

팩트이 수치는 단일 그래픽 처리 장치 환경에서도 충분히 학습이 가능한 수준입니다.

주장연구진은 32천 토큰 환경에서 기억 장치 사용량을 85.2기가바이트에서 5.45기가바이트로 낮추며 긴 문맥 학습을 가능하게 했습니다.

팩트연구진은 청크 단위 손실 함수 구현 코드를 누리집인 깃허브를 통해 공개했습니다.

출처허깅페이스 블로그와 논문 효율적인 거대 언어 모델 지식 증류: 오프라인 상위-케이 로짓과 융합 청크 쿨백-라이블러 손실 내용을 교차 검증했습니다.