온-정책 증류의 학습 효율을 높이는 신규 알고리즘 ‘TRB’ 개발

팩트다닐 플류소프 등 7명의 연구진은 온-정책 증류(On-policy Distillation, OPD)의 한계를 극복하는 새로운 학습 방법론인 TRB(Trust-Region Behavior Blending)를 공개했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장기존의 온-정책 증류는 학생 모델이 스스로 생성한 접두사(Prefix)를 바탕으로 학습합니다. 하지만 학습 초기 학생 모델의 성능이 낮으면 저품질 데이터가 생성되어 전체 학습 효율을 떨어뜨리는 문제가 발생합니다.

팩트TRB는 학생 모델의 초기 학습 단계에서 교사 모델의 행동 정책을 일부 혼합합니다. 이때 KL 발산(Kullback-Leibler Divergence, 확률 분포 간의 차이를 측정하는 지표)을 활용한 신뢰 영역(Trust-Region, 모델 업데이트 범위를 제한하는 공간) 내에서 최적의 정책을 선택합니다.

주장연구진은 학습이 진행됨에 따라 교사 모델의 개입 비중을 점진적으로 줄이는 어닐링(Annealing, 열처리처럼 점진적으로 값을 낮추는 기법) 방식을 도입했습니다. 이를 통해 학습 후반부에는 학생 모델이 스스로 데이터를 생성하는 순수 온-정책 학습으로 자연스럽게 전환됩니다.

팩트TRB는 기존의 역-KL 손실 함수(Reverse-KL OPD loss) 구조를 그대로 유지합니다. 따라서 기존 학습 파이프라인을 크게 수정하지 않고도 즉시 적용할 수 있다는 장점이 있습니다.

주장이번 연구는 학생 모델이 초기부터 양질의 데이터를 학습하게 함으로써 모델의 수렴 속도와 최종 성능을 동시에 개선했습니다. 연구진은 수학적 추론 과제 두 가지 환경에서 TRB가 기존 방법론들보다 높은 평균 성능을 기록했다고 밝혔습니다.

교차검증본 연구는 arxiv에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 실험 결과의 엄밀함은 향후 검증이 필요합니다.

교차검증TRB는 수학적 추론 과제에서는 우수한 성능을 보였으나, 다른 복잡한 도메인이나 대규모 언어 모델 환경에서도 동일한 일반화 성능을 보장할 수 있는지는 추가적인 연구가 필요합니다.

팩트연구진은 초기 롤아웃(Rollout, 모델이 환경과 상호작용하며 경로를 생성하는 과정) 정책을 교사 모델과 가장 유사한 행동 정책으로 대체하는 방식을 핵심 혁신으로 꼽았습니다.

주장이번 방법론은 모델의 초기 학습 불안정성을 해결하려는 시도로서, 향후 효율적인 지식 증류 기술 발전에 기여할 것으로 보입니다.

팩트TRB는 학습 초기 단계의 데이터 품질 문제를 해결함으로써 모델이 더 안정적으로 지식을 습득하도록 돕습니다. 이는 모델의 파라미터 규모와 관계없이 적용 가능한 범용적인 기법으로 평가됩니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2605.31159)을 참고했습니다.