젯브레인스, 12B 파라미터 기반 효율성 중심 AI 모델 Mellum2 공개

팩트젯브레인스가 새로운 인공지능 모델인 Mellum2를 공개했습니다. 이 모델은 총 12B 파라미터를 가진 전문가 혼합(Mixture-of-Experts) 구조를 채택했습니다.

팩트Mellum2는 토큰당 2.5B 파라미터만 활성화합니다. 이를 통해 추론 시 발생하는 지연 시간을 획기적으로 줄였습니다.

팩트젯브레인스는 Mellum2가 기존 동급 모델보다 2배 이상 빠른 추론 속도를 제공한다고 밝혔습니다. 해당 성능은 코드 생성과 추론, 과학 및 수학 벤치마크 테스트를 통해 입증했습니다.

주장젯브레인스는 Mellum2가 현대 인공지능 시스템의 효율성을 극대화하는 핵심 모델이 될 것으로 전망합니다. 거대 모델 하나에 의존하기보다 특정 작업에 최적화된 모델을 조합하는 방식이 생산 환경에 유리하기 때문입니다.

팩트Mellum2는 아파치 2.0 라이선스로 배포합니다. 누구나 자유롭게 사용할 수 있으며 상용 서비스나 사내 인프라에 직접 배포하기 적합합니다.

팩트이 모델은 자연어와 코드 생성 작업에 특화했습니다. 기존 코드 완성 모델이었던 Mellum의 범위를 소프트웨어 엔지니어링 전반과 자연어 처리 작업까지 확장했습니다.

팩트주요 활용 사례는 라우팅 및 오케스트레이션과 검색 증강 생성(RAG) 파이프라인, 서브 에이전트 작업입니다. 특히 지연 시간에 민감한 검색 후 처리나 문맥 압축 작업에서 높은 성능을 보입니다.

주장인공지능 시스템이 성숙함에 따라 단일 모델 중심 구조에서 벗어날 필요가 있습니다. Mellum2와 같은 효율적인 모델을 시스템 내부에 배치하면 전체 운영 비용을 절감하고 제어력을 높입니다.

교차검증Mellum2는 텍스트와 코드 처리에 집중한 전문 모델입니다. 이미지나 영상 처리 등 복합적인 멀티모달 작업에는 적합하지 않을 수 있습니다.

교차검증이 모델은 대규모 언어 모델이 수행하는 복잡한 추론 작업의 보조 역할로 설계했습니다. 고도의 논리적 판단이 필요한 작업에서는 더 큰 규모의 모델을 호출해야 합니다.

주장젯브레인스는 모델의 효율적인 구조를 바탕으로 기업들이 인공지능 인프라를 더욱 유연하게 구축하도록 지원합니다. 이는 개발 생산성을 높이는 실질적인 도구가 됩니다.

출처젯브레인스의 허깅페이스 블로그와 기술 보고서를 교차 검증했습니다. 모델은 허깅페이스 젯브레인스 컬렉션 페이지에서 내려받을 수 있습니다.