다중 플랫폼 GUI 에이전트 학습을 위한 UI-MOPD 기술 공개

주장최근 멀티모달 파운데이션 모델(다양한 형태의 데이터를 이해하는 기초 모델)의 발전으로 GUI(그래픽 사용자 인터페이스) 에이전트의 활용 범위가 단일 플랫폼에서 다중 플랫폼으로 확장되고 있습니다. 하지만 서로 다른 운영체제 환경에서 일관된 성능을 유지하는 것은 여전히 기술적 난제로 남아 있습니다.

팩트이번 연구에는 칭화대학교, 텐센트, 알리바바 등 주요 연구 기관의 연구진이 참여했습니다. 연구진은 다중 플랫폼 환경에서 발생하는 데이터 부족과 플랫폼 간 행동 패턴 혼재 문제를 해결하기 위해 새로운 방법론을 제시했습니다.

팩트연구진은 먼저 고품질의 다중 플랫폼 GUI 상호작용 데이터셋인 'Uni-GUI'를 구축했습니다. 또한, 'UI-MOPD(다중 플랫폼 온-폴리시 증류)'라는 새로운 학습 기법을 도입하여 에이전트의 범용성을 높였습니다.

주장UI-MOPD는 온-폴리시 증류(현재 정책을 기반으로 학습하는 데이터 증류 방식)를 연속 학습에 결합한 첫 사례입니다. 이 방식은 환경에 따라 최적의 플랫폼별 교사 모델을 동적으로 선택하여 지식을 전달합니다.

팩트이 기법은 플랫폼별 행동 우선순위를 공유 정책 모델로 전이합니다. 이를 통해 새로운 플랫폼에 적응하는 동시에 기존 플랫폼에서의 성능 저하를 방지합니다.

팩트연구진은 OSWorld와 MobileWorld 환경에서 성능을 검증했습니다. 그 결과 각각 38.2%와 12.0%의 작업 성공률을 기록하며 다중 플랫폼 적응 능력을 증명했습니다.

주장이번 연구는 기존 에이전트 학습에서 발생하던 파괴적 망각(이전 학습 내용을 새로운 학습 과정에서 잊어버리는 현상)을 효과적으로 억제합니다. 에이전트가 여러 운영체제를 넘나들며 안정적으로 작동할 수 있는 기반을 마련했습니다.

교차검증본 연구는 아카이브(arxiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 제시된 성능 지표는 향후 학술적 검증을 통해 재확인될 필요가 있습니다.

교차검증또한, 본 방법론은 특정 환경에서 제한된 데이터셋을 기반으로 평가되었습니다. 실제 복잡하고 변화무쌍한 실사용 환경에서의 범용성과 일반화 가능성에 대해서는 추가적인 실증 연구가 요구됩니다.

주장연구진은 플랫폼별로 상이한 상호작용 관습이 학습에 방해가 되는 문제를 해결하는 데 집중했습니다. 플랫폼 조건부 증류(플랫폼 환경에 맞춰 지식을 전달하는 방식)를 통해 각 환경의 특수성을 모델에 효과적으로 내재화했습니다.

팩트UI-MOPD는 플랫폼별 교사 모델을 활용하여 특정 환경에 최적화된 행동 패턴을 유지합니다. 이는 에이전트가 복합적인 환경에서도 길을 잃지 않고 작업을 수행하게 합니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.04425)을 참고했습니다.