GLM-5.2 모델의 100만 토큰 컨텍스트 지원과 코딩 성능 향상

주장지엘엠(GLM)-5.2는 복잡한 엔지니어링 작업을 수행하기 위해 설계된 최신 플래그십 모델입니다. 이 모델은 단순히 긴 문맥을 처리하는 기능을 넘어 실제 코딩 에이전트 환경에서 안정적인 성능을 유지하는 데 주력합니다.

팩트지엘엠-5.2는 100만 토큰의 컨텍스트 길이를 지원합니다. 이는 이전 모델인 지엘엠-5.1과 비교해 대폭 향상된 수치입니다.

팩트개발사는 엠아이티(MIT) 오픈소스 라이선스를 채택했습니다. 이로써 지역적 제한이나 기술적 장벽 없이 누구나 모델을 사용할 수 있습니다.

팩트모델 아키텍처에는 인덱스 쉐어(IndexShare) 기술이 도입되었습니다. 이 기술은 4개의 희소 어텐션 레이어마다 인덱서를 공유합니다.

팩트인덱스 쉐어 기술을 통해 100만 토큰 길이에서 토큰당 부동소수점 연산(FLOPs)을 2.9배 감소시켰습니다.

팩트지엘엠-5.2는 프론티어 에스더블유이(FrontierSWE) 벤치마크에서 지피티(GPT)-5.5를 1% 앞섰습니다. 이는 오픈소스 모델 중 가장 높은 순위입니다.

팩트터미널 벤치 2.1(Terminal-Bench 2.1)에서 81.0점을 기록했습니다. 이는 클로드 오퍼스 4.8과 근소한 차이를 보이는 수치입니다.

교차검증100만 토큰의 긴 문맥을 지원하지만 실제 엔지니어링 환경에서는 케이브이(KV) 캐시 용량과 중앙처리장치(CPU) 측의 오버헤드가 병목 현상으로 작용할 가능성이 존재합니다. 이를 해결하기 위해 메모리 관리 전략과 추론 엔진 최적화가 병행되어야 합니다.

팩트추론 성능 향상을 위해 다중 단계 예측(MTP) 레이어에 인덱스 쉐어와 케이브이 쉐어를 적용했습니다. 이 기술들로 추론 시 수용 길이를 기존 대비 최대 20%까지 증가시켰습니다.

주장사용자는 노력 수준(Effort Level) 제어를 통해 작업 복잡도에 따라 연산 자원을 유연하게 배분할 수 있습니다. 이는 성능과 지연 시간 사이의 균형을 맞추어 다양한 코딩 시나리오에 대응하게 합니다.

팩트지엘엠-5.2는 대규모 구현, 자동화된 연구, 성능 최적화, 복잡한 디버깅을 포함하는 코딩 에이전트 시나리오를 집중적으로 학습했습니다. 이러한 학습 데이터는 모델이 실제 엔지니어링 작업에서 실질적인 결과물을 내도록 돕습니다.

팩트추론 엔진 최적화를 위해 레이어 분할(LayerSplit) 기반의 세밀한 메모리 관리 전략을 도입했습니다. 이를 통해 긴 문맥 요청 시 그래픽처리장치(GPU) 자원을 효율적으로 활용하고 전체 처리량(Throughput)을 개선했습니다.

출처허깅페이스(HuggingFace) 블로그 및 관련 기술 문서를 교차 검증했습니다.