멀티모달 에이전트 추론 성능 높이는 AXPO 학습 기법 발표

팩트강민기, 디아오 시즈, 하치우마 료, 황성주, 파블로 몰차노프, 왕유치앙 프랭크, 이병관 연구진은 멀티모달 에이전트의 추론 능력을 극대화하는 새로운 학습 기법인 AXPO(Agent eXplorative Policy Optimization, 에이전트 탐색적 정책 최적화)를 발표했습니다.

주장최근 비전-언어 모델은 복잡한 문제를 해결하는 데 탁월한 성능을 보이지만, 외부 도구를 활용해야 하는 실무 환경에서는 여전히 한계를 드러냅니다. 연구진은 이를 내부 추론과 외부 도구 사용 사이의 비대칭성인 '사고-행동 간극(Thinking-Acting Gap)'으로 정의했습니다.

팩트기존의 강화학습 방식인 GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화)를 적용할 경우, 에이전트는 전체 시행의 약 30%에서만 도구 사용을 시도합니다. 또한 도구 사용 시도 시 약 40%의 확률로 잘못된 결과를 도출하여 학습 신호를 저해하는 문제가 발생합니다.

주장연구진이 제안한 AXPO는 이러한 문제를 해결하기 위해 사고 과정을 고정하고 도구 호출과 그 이후의 연속 과정을 재표집(Resampling)하는 방식을 채택했습니다. 여기에 불확실성 기반의 접두사 선택(Uncertainty-based prefix selection)을 결합하여 학습 효율을 높였습니다.

팩트9개의 멀티모달 벤치마크와 3가지 규모의 Qwen3-VL-Thinking 모델을 대상으로 실험한 결과, AXPO는 기존 SFT(Supervised Fine-Tuning, 지도 미세 조정)+GRPO 방식보다 우수한 성능을 보였습니다.

팩트8B(80억) 파라미터 모델 기준, AXPO는 기존 방식 대비 Pass@1(단일 응답 정확도)과 Pass@4(4개 응답 중 하나라도 정답일 확률) 지표에서 각각 1.8%포인트 향상된 성능을 기록했습니다.

팩트특히 8B 파라미터 모델에 AXPO를 적용했을 때, 32B 파라미터의 베이스 모델보다 Pass@4 지표에서 더 높은 정확도를 달성했습니다. 이는 파라미터 규모를 4배 줄이면서도 추론 성능은 오히려 개선했음을 의미합니다.

교차검증본 연구는 아카이브(arxiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review)를 거치지 않았습니다. 따라서 기술의 신뢰성과 학술적 타당성은 향후 검증이 필요합니다.

교차검증AXPO 기법은 특정 벤치마크 환경에서는 뛰어난 성능을 보이지만, 실제 데이터셋의 편향성이나 다양한 도구 환경에서의 범용성(Generalizability)에 대해서는 추가적인 실증 연구가 요구됩니다.

주장이번 연구는 거대언어모델이 단순한 텍스트 생성을 넘어 외부 도구를 능동적으로 활용하는 에이전트 시스템으로 진화하는 데 중요한 이정표를 제시합니다.

주장연구진은 사고와 행동의 비대칭성을 기술적으로 보정함으로써, 자원이 제한된 환경에서도 고성능 에이전트를 구현할 수 있는 가능성을 열었습니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2605.28774)을 참고했습니다.