소형 모델의 강화학습 성과를 대형 모델로 전이하는 Direct-OPD 기술

주장인공지능 모델의 추론 능력을 강화하기 위해 검증 가능한 보상을 활용하는 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 매우 효과적인 방법입니다. 하지만 모델 규모가 커질수록 학습 과정에서 발생하는 막대한 연산 비용이 큰 걸림돌이 됩니다.

팩트연구진은 소형 모델에서 강화학습을 수행하고 그 성과를 대형 모델로 전이하는 새로운 방식인 Direct-OPD(Direct On-Policy Distillation, 직접 온-폴리시 증류)를 제안했습니다. 이 방식은 대형 모델에서 직접 강화학습을 수행하는 비용을 획기적으로 줄여줍니다.

팩트기존의 단순 증류 방식은 소형 모델의 한계점까지 함께 전이되는 문제가 있었습니다. Direct-OPD는 강화학습 전후의 모델 정책 차이를 로그 비율(log-ratio)로 계산하여 이를 대형 모델을 위한 암시적 보상 신호로 활용합니다.

주장이 기술은 소형 모델이 강화학습을 통해 학습한 행동 변화의 방향성을 대형 모델이 자신의 상태에 맞춰 직접 적용하게 합니다. 결과적으로 대형 모델은 고비용의 강화학습 없이도 소형 모델의 학습 성과를 그대로 흡수합니다.

팩트연구진은 Qwen3-1.7B 모델을 대상으로 실험을 진행했습니다. 그 결과 AIME 2024 벤치마크에서 기존 48.3%였던 정답률을 58.3%까지 10%포인트 향상했습니다.

팩트해당 실험은 8개의 A100 GPU를 사용하여 단 4시간 만에 완료되었습니다. 이는 기존의 대규모 강화학습 방식과 비교할 때 시간과 자원 측면에서 매우 효율적인 성과입니다.

주장Direct-OPD는 단순히 최종 모델을 모방하는 기존 증류 방식의 한계를 넘어섭니다. 강화학습의 결과물을 모델 간 전이가 가능한 보상 신호로 재정의했다는 점이 핵심입니다.

교차검증본 연구는 아카이브(arxiv)에 게재된 선공개 논문으로 정식 동료 평가(peer review) 과정을 거치지 않았습니다. 따라서 학계의 검증을 통한 추가적인 확인이 필요합니다.

교차검증기술적 측면에서 Direct-OPD는 모델 간의 아키텍처 차이나 데이터셋 편향(dataset bias)에 따른 일반화 성능의 한계가 존재할 수 있습니다. 서로 다른 규모의 모델 간 전이 과정에서 발생하는 정보 손실 가능성도 고려해야 합니다.

팩트연구진은 칭화대학교, 바이트댄스, 그리고 관련 연구기관 소속 연구자들로 구성되었습니다. 이들은 강화학습의 성과를 여러 단계에 걸쳐 순차적으로 결합하는 방식도 가능함을 입증했습니다.

주장이번 연구는 대규모 언어 모델의 학습 효율성을 극대화하는 새로운 경로를 제시합니다. 향후 모델 규모가 더욱 커질수록 이러한 효율적 전이 기술의 중요성은 더욱 커질 전망입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.05394)을 참고했습니다.