IBM, 32K 컨텍스트 Granite 임베딩 R2 출시
IBM은 다국어 임베딩 모델의 고질적인 문제인 모델 크기와 언어 커버리지 사이의 균형을 해결하고자 Granite Embedding Multilingual R2를 출시했습니다. 이 모델은 기업 환경에서 즉시 사용 가능한 성능과 효율성을 제공하며, 최대 32,768 토큰의 컨텍스트 길이를 지원합니다. Apache 2.0 라이선스로 배포되어 상업적 이용이 가능합니다.
팩트IBM은 기업용 다국어 임베딩 모델인 Granite Embedding Multilingual R2를 공개했습니다. 이 모델은 311M 파라미터의 풀사이즈 모델과 97M 파라미터의 경량 모델 두 가지로 구성됩니다. 두 모델 모두 200개 이상의 언어를 지원하며, 최대 32,768 토큰의 컨텍스트 길이를 처리할 수 있습니다.
팩트97M 파라미터 경량 모델은 MTEB 다국어 검색 벤치마크에서 60.3점을 기록했습니다. 이 점수는 100M 이하의 오픈소스 다국어 임베딩 모델 중 가장 높은 수치입니다. 기존 모델 대비 9.4점 향상된 성능을 보였습니다.
팩트311M 파라미터 모델은 MTEB 다국어 검색 벤치마크에서 65.2점을 기록했습니다. 이 성적은 500M 이하 파라미터 모델 중 전체 2위에 해당합니다.
교차검증기존 R1 모델은 XLM-RoBERTa 인코더를 기반으로 512 토큰의 제한된 컨텍스트 윈도우를 가졌습니다. 반면 R2 모델은 ModernBERT 아키텍처로 완전히 재설계하여 긴 문맥 처리와 연산 효율성을 대폭 개선했습니다.
주장IBM은 Granite Embedding Multilingual R2 모델을 기업 환경에서 즉시 사용 가능한 수준의 성능과 효율성을 제공하고자 개발했습니다. 이 모델은 Apache 2.0 라이선스로 배포되어 상업적 이용이 가능합니다.
주장기업용 배포를 위해 IBM은 데이터 거버넌스를 엄격히 적용했습니다. MS-MARCO와 같은 비상업적 라이선스 제한이 있는 데이터셋을 배제했습니다. IBM이 직접 큐레이션한 GneissWeb 데이터를 사용하여 법적 리스크를 최소화했습니다.
팩트이 모델은 LangChain, LlamaIndex, Haystack 등 주요 프레임워크와 호환됩니다. 따라서 코드 수정 없이 즉시 교체하여 사용할 수 있습니다.
팩트모델은 한국어를 포함한 52개 언어에 대해 집중적인 검색 쌍 및 교차 언어 학습을 수행했습니다. 또한 파이썬, 자바, SQL 등 9개 프로그래밍 언어에 대한 코드 검색 기능도 포함합니다.
팩트311M 모델은 22개 층의 ModernBERT 인코더와 262K 토큰의 어휘 사전을 사용합니다. 지식 증류 기법을 통해 Granite 3.3 Instruct 및 Mistral v0.2 모델로부터 검색 관련 지식을 성공적으로 전수받았습니다.
출처IBM의 공식 블로그 게시물(https://huggingface.co/blog/ibm-granite/granite-embedding-multilingual-r2)을 교차 검증했습니다.
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.