알리바바, AI 시각 모델 추론 오류 해결할 HopChain 개발

주장알리바바 Qwen 팀과 칭화대학교 연구진은 인공지능 시각 모델이 다단계 추론 과정에서 발생하는 오류를 해결하고자 HopChain 프레임워크를 개발했습니다. 기존 모델은 초기 인식 단계의 미세한 오류가 연쇄적으로 증폭되어 최종 결과값이 왜곡되는 한계를 보였습니다.

팩트HopChain은 이미지 내 객체 간 의존성을 활용하여 모델이 단계별로 이미지를 재검증하도록 유도합니다. 이 프레임워크는 단일 객체 인식과 다중 객체 비교를 교차 수행하며, 최종적으로 고유한 숫자를 정답으로 도출해 자동 검증을 가능하게 합니다.

팩트데이터 생성은 4단계 과정을 거칩니다. Qwen3-VL 모델이 객체를 식별하고 메타의 SAM3 모델이 이를 분할합니다. 이후 4명의 인간 평가자가 독립적으로 문제를 해결하여 만장일치로 합의된 데이터만을 학습에 사용합니다.

팩트연구진은 이 과정을 통해 모델당 6만에서 8만 개의 학습 예제를 확보했습니다. 이를 바탕으로 Qwen3.5-35B 및 397B 모델을 학습시킨 결과, 총 24개의 벤치마크 중 20개에서 성능 향상을 확인했습니다.

팩트작은 모델의 경우 EMMA 점수가 53에서 58로 상승했으며, 큰 모델의 경우 ZeroBench 점수가 4에서 8로 두 배 증가했습니다. 정지 이미지 학습이 영상 추론 능력으로 전이되면서 영상 이해 벤치마크에서도 성능 향상이 나타났습니다.

주장연구진은 전체 추론 체인을 유지하는 방식이 성능 향상의 핵심이라고 강조합니다. 추론 단계를 생략하거나 줄이면 벤치마크 점수가 하락하며, 추론 체인이 길수록 정확도 개선 폭이 커지는 경향을 보입니다.

팩트이번 연구는 인식, 논리, 지식, 환각 등 다양한 유형의 오류를 전반적으로 감소시켰습니다. 이는 HopChain이 특정 벤치마크에 국한되지 않고 모델의 일반적인 추론 능력을 개선했음을 의미합니다.

교차검증HopChain은 메타의 SAM3 모델을 사용하여 객체를 분할하므로, 분할 가능한 객체가 없는 이미지에는 적용하기 어렵다는 한계가 있습니다. 현재의 인공지능 모델들은 여전히 시각적 인식 자체에 근본적인 약점을 안고 있습니다.

팩트스탠포드 대학의 분석에 따르면, 최첨단 모델은 이미지 없이도 벤치마크 점수의 70~80%를 달성합니다. 이는 모델이 이미지를 보지 않고도 존재하지 않는 시각적 세부 정보를 설명하는 환각 현상을 겪고 있음을 시사합니다.

출처더 디코더의 보도 내용 및 관련 아카이브 논문 자료를 교차 검증했습니다.