아마존 세이지메이커 AI, RLVR 도입으로 AI 에이전트 도구 호출 최적화

주장인공지능 에이전트가 실무에서 유용하게 작동하려면 정확한 도구 호출 능력이 필수적입니다. 기존 모델은 도구 호출 과정에서 환각 현상을 보이거나 잘못된 매개변수를 전달하는 등 신뢰성 문제를 자주 일으킵니다.

팩트아마존 세이지메이커 AI는 서버리스 모델 커스터마이징 기능을 제공하여 인프라 관리 부담 없이 모델을 미세 조정합니다. 이 서비스는 검증 가능한 보상을 활용한 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR) 기법을 도입하여 모델이 스스로 응답 품질을 학습하도록 설계했습니다.

팩트연구진은 큐원(Qwen) 2.5 7B 인스트럭트 모델에 RLVR을 적용하여 도구 호출 성능을 실험했습니다. 그 결과, 학습 데이터에 포함되지 않은 새로운 도구 시나리오에서도 도구 호출 보상 점수가 기존 모델 대비 57퍼센트 향상되었습니다.

교차검증강화학습을 직접 운영하면 그래픽 처리 장치 자원 확보와 메모리 오케스트레이션, 보상 인프라 구축 등 상당한 운영 오버헤드가 발생합니다. 세이지메이커 AI는 이러한 복잡한 인프라 작업을 대신 처리하여 개발자가 모델과 데이터, 보상 함수 설계에 집중하도록 지원합니다.

팩트세이지메이커 AI는 아마존 노바와 라마, 큐원, 딥시크 등 다양한 모델군을 지원합니다. 또한 지도 미세 조정과 직접 선호도 최적화, RLVR 등 여러 학습 기법을 제공하며 엠엘플로우(MLflow)를 통해 학습 지표를 추적합니다.

주장기존의 지도 미세 조정 방식은 특정 행동 예시를 일일이 학습시켜야 하므로 일반화에 한계가 있습니다. 반면 RLVR은 모델이 여러 응답 후보를 생성하고 보상 함수가 이를 검증하는 방식을 통해 유연한 의사결정 능력을 학습합니다.

팩트RLVR 학습 과정에는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 알고리즘을 사용합니다. 모델이 생성한 8개의 응답 후보 중 평균 점수보다 높은 응답을 강화하여, 모델은 도구 호출이 필요한 상황과 추가 질문이 필요한 상황을 스스로 구분합니다.

팩트에이전트가 학습해야 할 핵심 행동은 도구 실행과 추가 정보 요청, 요청 거절입니다. 이번 실험에서는 1,500개의 합성 데이터를 생성하여 실행 60퍼센트, 질문 25퍼센트, 거절 15퍼센트 비율로 모델을 학습시켰습니다.

교차검증합성 데이터는 실제 운영 로그가 부족한 초기 단계에서 유용하지만, 실제 서비스 환경의 사용자 프롬프트와 도구 호출 데이터를 활용하면 모델 품질을 더욱 높일 수 있습니다. 따라서 실무 적용 시에는 실제 운영 데이터를 점진적으로 통합하는 과정이 필요합니다.

출처아마존 웹 서비스 공식 블로그의 'Accelerate agentic tool calling with serverless model customization in Amazon SageMaker AI' 게시물을 교차 검증했습니다.