콰이(Kwai) 연구팀, 256K 컨텍스트 처리 가능한 멀티모달 모델 Keye-VL-2.0 공개

팩트콰이(Kwai) 연구팀은 최근 긴 영상 이해와 에이전트 지능 구현을 목표로 하는 멀티모달 파운데이션 모델인 Keye-VL-2.0-30B-A3B를 공개했습니다. 이 모델은 총 300억 개의 파라미터 규모를 갖추고 있으며, 실제 연산 시에는 30억 개의 파라미터만을 활성화하는 전문가 혼합(MoE, Mixture-of-Experts) 방식을 채택했습니다.

주장이번 연구는 영상 데이터의 정보 중복성과 높은 연산 비용 문제를 해결하는 데 집중했습니다. 연구진은 딥시크 희소 어텐션(DSA, DeepSeek Sparse Attention) 기술을 멀티모달 아키텍처에 최초로 적용했습니다. 이를 통해 모델은 데이터 손실 없이 256K(25만 6천 개)에 달하는 긴 컨텍스트를 처리할 수 있게 됐습니다.

팩트Keye-VL-2.0은 시간 단위의 긴 영상을 분석할 때 발생하는 계산 효율성 문제를 해결하기 위해 최적화된 인프라를 구축했습니다. 연구진은 이기종 비전 트랜스포머(ViT)와 언어 모델(LM) 간의 병렬 처리 기술을 도입했습니다. 또한, 맞춤형 DSA 커널을 활용해 처리량(Throughput)을 극대화하고 연산 오버헤드를 최소화했습니다.

주장다중 작업 정렬 과정에서 발생하는 파멸적 망각(Catastrophic Forgetting, 이전 학습 내용을 잊어버리는 현상)을 극복하는 것이 이번 연구의 핵심 과제였습니다. 연구진은 교차 모달 다중 교사 온-폴리시 증류(MOPD, Cross-Modal Multi-Teacher On-Policy Distillation) 기법을 새롭게 제안했습니다. 이 기법은 강화학습과 결합하여 모델의 추론 능력을 강화합니다.

팩트MOPD 기법은 밀도 높은 토큰 수준의 피드백을 MoE 백본에 증류하는 방식을 취합니다. 이 과정을 통해 모델은 코드 작성, 도구 활용, 검색 시나리오에서 멀티모달 자가 교정(Self-correction) 기능을 수행합니다. 이는 모델이 단순히 영상을 보는 것을 넘어 능동적인 에이전트로 작동하도록 돕습니다.

팩트성능 평가 결과, Keye-VL-2.0-30B-A3B는 유사한 규모의 모델 중에서 최고 수준의 성능을 기록했습니다. 특히 타임렌즈(TimeLens) 벤치마크에서는 세밀한 시간적 위치 파악 능력을 입증했습니다. 비디오-MME-v2와 롱비디오벤치(LongVideoBench)에서도 긴 영상 이해 분야에서 우수한 성과를 보였습니다.

교차검증본 연구는 아카이브(arXiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 제시된 성능 지표는 연구진이 설정한 특정 환경에서의 결과이며, 실제 산업 현장에서의 범용성과는 차이가 있을 수 있습니다.

교차검증기술적 측면에서 모델의 재현성(Reproducibility)과 데이터셋 편향(Dataset Bias) 문제도 고려해야 합니다. 대규모 멀티모달 모델은 학습 데이터의 구성에 따라 특정 도메인에서 성능이 급격히 저하될 가능성이 있습니다. 또한, 256K 컨텍스트 처리 시 발생하는 잠재 공간(Latent Space, 데이터의 핵심 특징을 압축한 다차원 공간)의 정보 손실 가능성에 대한 추가 검증이 필요합니다.

주장콰이 연구팀은 이번 모델의 체크포인트를 오픈소스로 공개하여 커뮤니티의 기술 발전을 도모하고자 합니다. 이는 확장 가능하고 견고한 멀티모달 에이전트 애플리케이션 개발을 가속화할 것으로 기대됩니다. 연구진은 향후 더 복잡한 에이전트 협업 시나리오를 지원할 계획입니다.

팩트이번 연구에는 웬 빈(Bin Wen)을 포함한 콰이 연구팀 소속 연구원 50여 명이 참여했습니다. 이들은 멀티모달 아키텍처의 효율성을 높이기 위해 비디오 입출력(I/O) 스케일링 기술을 고도화했습니다. 이는 대규모 영상 데이터를 처리해야 하는 실시간 서비스 환경에 적합한 구조입니다.

주장멀티모달 에이전트 시스템(MAS, Multi-Agent System)의 발전은 인공지능이 도구를 사용하고 스스로 오류를 수정하는 방향으로 나아가고 있습니다. Keye-VL-2.0은 이러한 흐름 속에서 영상 이해와 에이전트 지능을 결합한 중요한 이정표를 제시했습니다. 앞으로의 연구는 더 적은 자원으로 더 긴 영상을 처리하는 최적화에 집중될 전망입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.10651)을 참고했습니다.