미니맥스, 100만 토큰 지원 M3 모델 공개

주장미니맥스의 M3는 오픈 웨이트 모델 중 최초로 최상위 수준의 코딩 성능과 100만 토큰의 문맥 창, 네이티브 멀티모달 기능을 결합했습니다. 이는 기존 독점 시스템만이 가능했던 영역을 오픈 소스 생태계로 확장하려는 시도입니다.

팩트M3는 소프트웨어 개발 벤치마크인 SWE-Bench Pro에서 59%의 점수를 기록했습니다. 해당 수치는 제미나이 3.1 프로를 앞서며 오퍼스 4.7에 근접한 성능입니다.

팩트미니맥스는 새로운 어텐션 메커니즘인 미니맥스 희소 어텐션(Minimax Sparse Attention, MSA)을 도입했습니다. 이 기술은 관련 데이터 블록만 처리하여 연산 비용을 20분의 1로 줄이고 입력 처리 속도를 9배 이상 높였습니다.

팩트MSA 기술은 키-값 캐시를 블록 단위로 분할하여 처리합니다. 각 블록을 메모리에서 한 번만 읽는 연속적인 접근 방식을 사용하여 기존 오픈 소스 대안보다 4배 이상 빠른 속도를 구현했습니다.

교차검증앤스로픽의 오퍼스 4.8 모델은 M3보다 다소 강력한 성능을 보유하고 있습니다. 또한 M3가 최적화 작업에서 높은 성능을 보였으나, 일부 작업에서는 여전히 독점 모델이 더 적은 시도로 효율적인 결과를 도출합니다.

팩트M3는 엔비디아 호퍼 그래픽 처리 장치(GPU) 환경에서 FP8 커널 최적화 테스트를 수행했습니다. 147번의 시도 끝에 호퍼 피크 성능의 71.3%에 도달하며 복잡한 연산 작업에서의 자율적 문제 해결 능력을 입증했습니다.

팩트모델은 텍스트와 이미지가 섞인 인터리브 데이터를 학습하여 멀티모달 성능을 강화했습니다. 미니맥스는 데이터 파이프라인을 재설계하여 최대 100조 개의 토큰 규모로 학습을 확장했습니다.

주장미니맥스는 모델이 단순히 프롬프트에 응답하는 것을 넘어 스스로 계획하고 디버깅하며 수정하는 자율성을 강조합니다. 이를 위해 개발자의 실제 워크플로우를 모방한 시뮬레이터 프레임워크를 구축하여 다중 턴 협업 능력을 훈련했습니다.

팩트M3는 미니맥스 API를 통해 사용할 수 있으며, 51만2000 토큰까지는 표준 요금이 적용됩니다. 모델 가중치와 기술 보고서는 앞으로 10일 이내에 허깅페이스와 깃허브를 통해 공개됩니다.

출처https://the-decoder.com/minimax-m3-open-weight-model-with-a-million-token-context-challenges-proprietary-leaders/ 을 교차 검증했습니다.