팔콘 퍼셉션, 통합형 시각 인식 모델로 성능 입증

주장팔콘 퍼셉션은 기존의 모듈형 파이프라인 방식이 가진 확장성 문제와 복잡성을 해결합니다. 연구진은 단일 초기 융합 트랜스포머가 적절한 어텐션 패턴과 인터페이스를 갖춘다면 시각 인식과 언어 모델링을 동시에 수행할 수 있다고 판단합니다.

팩트팔콘 퍼셉션은 6억 개 파라미터 규모의 모델로, 이미지 패치와 텍스트를 단일 시퀀스에서 처리합니다. 이 모델은 에스에이-코(SA-Co) 벤치마크에서 68.0 매크로-에프원(Macro-F1) 점수를 기록하여 62.3점을 기록한 샘(SAM) 3 모델을 상회하는 성능을 보입니다.

주장모델은 이미지와 텍스트의 구조적 차이를 극복하기 위해 하이브리드 어텐션 마스크를 사용합니다. 이미지 토큰은 양방향으로 처리하여 전역적 시각 맥락을 구축하며, 텍스트 토큰은 인과적 방식으로 처리하여 자동 회귀적 예측을 지원합니다.

팩트객체 인식 과정은 좌표, 크기, 분할이라는 세 단계의 체인 오브 퍼셉션 구조를 따릅니다. 모델은 객체의 중심 좌표를 예측하고 크기를 결정한 뒤, 최종적으로 분할 토큰을 통해 고해상도 마스크를 생성합니다.

교차검증모델은 존재 보정 능력에서 다소 낮은 수치를 보입니다. 엠씨씨(MCC) 지표에서 0.64를 기록하여 0.82를 기록한 기존 모델 대비 정밀도가 낮으며, 이는 객체 존재 여부 판단 측면에서 개선이 필요함을 시사합니다.

주장기존의 참조 표현 벤치마크는 포화 상태에 이르러 모델의 구체적인 실패 원인을 파악하기 어렵습니다. 연구진은 이를 해결하고자 능력별로 성능을 진단할 수 있는 피벤치(PBench) 벤치마크를 도입합니다.

팩트피벤치는 단순 객체부터 오씨알(OCR) 기반 식별, 공간 이해, 관계 파악, 밀집된 군중 장면까지 5단계의 난이도로 구성됩니다. 이를 통해 모델의 취약점을 프로파일링하여 앞으로의 데이터 학습 방향을 결정합니다.

팩트연구진은 팔콘 오씨알이라는 3억 개 파라미터 모델도 함께 공개했습니다. 이 모델은 오엘엠오씨알(olmOCR) 벤치마크에서 80.3점, 옴니닥벤치(OmniDocBench)에서 88.6점을 기록하며 오픈 소스 오씨알 모델 중 가장 높은 처리량을 달성합니다.

팩트팔콘 퍼셉션은 디노브이쓰리(DINOv3)와 시그립투(SigLIP2)라는 두 개의 강력한 비전 모델을 교사 모델로 활용한 다중 교사 증류 방식을 통해 초기화됩니다. 이러한 학습 방식은 모델이 초기부터 강력한 시각적 기초를 갖추도록 돕습니다.

팩트학습 데이터셋은 5,400만 장의 이미지와 1억 9,500만 개의 긍정적 표현, 4억 8,800만 개의 하드 네거티브 데이터로 구성됩니다. 데이터 품질을 보장하기 위해 샘 3, 큐웬쓰리-브이엘-30비(Qwen3-VL-30B), 문드림(Moondream) 3 모델의 앙상블 합의 과정을 거칩니다.

출처https://huggingface.co/blog/tiiuae/falcon-perception