로봇의 시각 추적 성능 극대화하는 리퍼트랙(ReferTrack) 기술 공개

주장로봇이 자연어 지시를 이해하고 특정 대상을 지속적으로 추적하는 기술인 체화된 시각 추적(EVT, Embodied Visual Tracking) 분야에서 획기적인 진전이 나타났습니다. 이번 연구는 홍콩과학기술대학교 등 공동 연구진이 발표한 리퍼트랙(ReferTrack) 모델을 중심으로 진행되었습니다.

팩트기존 비전-언어-행동(VLA, Vision-Language-Action) 정책은 대상 식별과 경로 계획을 통합해 처리합니다. 하지만 이 방식은 사고의 연쇄(CoT, Chain-of-Thought) 과정이 추상적인 잠재 공간(Latent Space, 데이터의 핵심 특징을 압축한 다차원 공간)에서 이루어져 실제 이미지와 일치시키기 어렵다는 한계가 있었습니다.

주장리퍼트랙은 이러한 문제를 해결하기 위해 대상을 먼저 식별하고 이후 추적하는 이단계 방식을 채택했습니다. 모델은 단일 전방 카메라 영상을 활용해 바운딩 박스(Bounding Box, 객체의 위치를 사각형으로 표시한 영역) 집합에서 목표물을 정확히 선택합니다.

팩트연구진은 대상의 움직임을 시간에 따라 보존하기 위해 슬라이딩 윈도우 큐(Sliding-window Queue, 최근 데이터를 순차적으로 저장하는 대기열)를 도입했습니다. 여기에 시간적-시점-바운딩박스 지표(TVBI, Temporal-viewpoint-bbox indicator) 토큰을 주입해 시각적 이력을 효과적으로 관리합니다.

팩트이번 연구는 자체 구축한 리퍼-QA(Refer-QA) 데이터셋을 활용해 모델을 공동 학습시켰습니다. 이를 통해 로봇의 대상 식별 능력을 대폭 강화했습니다.

팩트성능 평가 지표인 EVT-벤치(EVT-Bench)에서 리퍼트랙은 단일 타겟 추적 89.4%, 방해 요소 존재 시 73.3%, 모호한 상황에서 74.1%의 성공률을 기록했습니다. 이는 기존 다중 카메라 기반 모델들과 대등하거나 오히려 앞서는 수치입니다.

주장리퍼트랙은 보행 로봇과 휴머노이드 로봇에 실제 적용되어 시뮬레이션 환경에서 학습한 내용을 현실에 그대로 구현하는 심-투-리얼(Sim-to-Real, 시뮬레이션 학습 모델을 실제 환경에 적용하는 것) 능력을 입증했습니다.

교차검증본 연구는 아카이브(arXiv)에 게재된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 타당성에 대한 검증은 향후 추가적인 논의가 필요합니다.

교차검증리퍼트랙이 다양한 환경에서 범용적으로 작동할지에 대해서는 추가적인 검증이 필요합니다. 특히 복잡한 실내외 환경 변화나 조명 조건에 따른 데이터 편향(Dataset Bias) 가능성을 완전히 배제할 수 없다는 기술적 한계가 존재합니다.

팩트연구진은 이번 연구의 핵심인 리퍼트랙의 소스 코드를 깃허브(GitHub)를 통해 공개했습니다. 관심 있는 연구자들은 해당 저장소에서 기술 구현 방식을 확인할 수 있습니다.

주장이번 기술은 로봇이 자연어 명령을 통해 복잡한 환경에서도 목표물을 놓치지 않고 추적하게 함으로써 자율 주행 로봇과 서비스 로봇의 지능을 한 단계 높일 것으로 기대됩니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.20061)을 참고했습니다.