문월(Moonshot AI) Kimi K3 공개: 2.8조 파라미터 기반 개방형 프론티어 AI

팩트문월 AI 연구진은 최근 2.8조 개의 파라미터(매개변수)를 탑재한 거대언어모델 Kimi K3를 공개했습니다. 이번 연구에는 400여 명에 달하는 대규모 연구진이 참여했습니다.

주장Kimi K3는 개방형 프론티어 인텔리전스 시대를 여는 중요한 이정표가 될 전망입니다. 연구진은 모델 가중치를 전면 공개하여 AI 생태계 확장을 도모합니다.

팩트이 모델은 전문가 혼합(MoE, Mixture-of-Experts) 방식을 채택했습니다. 전체 896개의 전문가 모델 중 토큰당 16개를 활성화하여 연산 효율을 극대화합니다.

팩트Kimi K3는 1040억 개의 활성 파라미터를 사용합니다. 이는 모델의 추론 성능과 연산 속도 사이의 균형을 맞추기 위한 전략입니다.

팩트모델은 100만 토큰(AI가 한 번에 처리하는 정보 단위)의 문맥 창을 지원합니다. 방대한 분량의 문서를 한 번에 이해하고 분석할 수 있습니다.

팩트연구진은 KDA(Kimi Delta Attention, 키미 델타 어텐션)와 어텐션 레지듀얼(Attention Residuals, 어텐션 잔차) 기술을 도입했습니다. 이 기술들은 모델의 깊이와 시퀀스 길이에 따른 정보 흐름을 개선합니다.

팩트스테이블 잠재 전문가 혼합(Stable LatentMoE) 기술을 통해 이전 모델인 Kimi K2 대비 확장 효율을 약 2.5배 개선했습니다. 잠재 공간(Latent Space, 데이터의 핵심 특징을 압축한 고차원 공간)에서의 정보 처리 능력을 강화한 결과입니다.

교차검증본 연구는 아카이브(arxiv)에 등록된 선공개 논문입니다. 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았음을 밝힙니다.

교차검증모델의 성능은 특정 벤치마크 환경에서 측정되었습니다. 실제 복잡한 실무 환경에서의 일반화 가능성이나 데이터 편향 문제는 추가적인 검증이 필요합니다.

팩트Kimi K3는 강화 학습을 통해 코딩, 에이전트 작업, 추론 능력을 대폭 강화했습니다. 특히 긴 호흡의 작업 수행 능력이 이전 모델보다 정교해졌습니다.

주장이번 모델은 클로드 페이블 5나 GPT-5.6 솔과 같은 최상위 폐쇄형 모델보다는 성능이 다소 낮습니다. 그러나 기존에 공개된 다른 모델들과 비교하면 우수한 성능을 입증했습니다.

주장연구진은 알고리즘과 시스템을 공동 설계하여 대규모 모델의 효율적인 훈련을 구현했습니다. 이는 향후 거대언어모델의 인프라 구축에 중요한 참고 사례가 될 것입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.24653)을 참고했습니다.