vLLM V1 마이그레이션과 강화학습 정합성 확보 전략

주장강화학습 시스템에서 추론 엔진의 출력값과 학습기가 기대하는 값 사이의 불일치는 학습 동역학을 왜곡합니다. 강화학습 목표를 수정하기 전에 추론 백엔드의 동작 정합성을 먼저 확보하는 과정이 필수적입니다.

팩트연구진은 vLLM V0에서 V1으로 마이그레이션하는 과정에서 0.8.5 버전과 0.18.1 버전을 비교했습니다. 초기 V1 전환 시도 당시 학습 지표인 클립 비율, KL 발산, 엔트로피 등에서 V0와 명확한 차이가 발생했습니다.

팩트분석 결과 로그 확률의 의미론적 불일치와 추론 경로의 기본 설정 차이, 가중치 업데이트 방식의 차이가 주요 원인으로 확인되었습니다. 특히 로그 확률이 샘플링 전의 원시 출력값인지 후처리된 값인지에 대한 정의가 학습 결과에 큰 영향을 미쳤습니다.

팩트연구진은 vLLM V1의 기본 설정인 접두사 캐싱과 비동기 스케줄링을 비활성화하여 V0와 동일한 실행 환경을 구축했습니다. 이를 통해 캐시 수명과 재사용 정책이 학습 과정에 미치는 변수를 통제했습니다.

팩트가중치 업데이트 시 V0와 유사한 동작을 구현하기 위해 엔진을 일시 정지하고 캐시를 유지하는 방식을 채택했습니다. 이는 학습 중 발생하는 지연 시간을 제어하고 추론 엔진의 일관성을 유지하는 데 기여했습니다.

팩트최종적인 수치 정합성을 위해 언어 모델 헤드 계산을 32비트 부동소수점 정밀도로 수행하도록 설정했습니다. 이는 로그 확률의 미세한 변화가 정책 비율과 보상 곡선에 누적되는 문제를 해결하기 위한 조치입니다.

교차검증로그 확률 처리 방식만 수정해서는 학습 불일치가 완전히 해결되지 않았습니다. 단일 설정 변경만으로는 복잡한 강화학습 파이프라인의 정합성을 보장할 수 없음을 의미합니다.

교차검증배치 불변성 테스트나 초기 V1 실행 결과를 그대로 기준점으로 삼는 방식은 오류를 포함합니다. 여러 변수가 혼재된 상태에서 비교를 수행하면 마이그레이션 과정의 원인을 정확히 파악하기 어렵기 때문입니다.

주장강화학습에서 오프라인 정책 보정이나 중요도 샘플링 기법은 유용하지만, 추론 백엔드가 올바른 데이터를 제공한다는 전제하에 작동해야 합니다. 백엔드 결함을 보정 없이 객체 수준에서 해결하려 하면 문제의 원인을 혼동할 위험이 큽니다.

출처해당 내용은 허깅페이스(Hugging Face)의 서비스나우(ServiceNow-AI) 팀이 발행한 vLLM V0에서 V1으로의 마이그레이션 기술 블로그를 교차 검증했습니다. (https://huggingface.co/blog/ServiceNow-AI/correctness-before-corrections)