AWS 환경 내 문샷 AI Kimi K3 모델 배포 가이드

주장문샷 AI가 발표한 Kimi K3는 3조 파라미터급에 근접한 최초의 오픈 웨이트 모델로서 복잡한 추론과 에이전트 워크플로우 처리에 최적화되어 있습니다. 해당 모델은 기업이 자체 인프라에서 최상위 수준의 지능을 직접 호스팅하도록 설계되었습니다.

팩트Kimi K3는 총 2.8조 개의 파라미터를 보유하고 있으며 896개의 전문가 모델 중 토큰당 16개를 활성화하는 혼합 전문가 구조를 채택했습니다. 실제 추론 시에는 약 1,040억 개의 파라미터만 활성화되어 이전 모델인 Kimi K2 대비 2.5배 향상된 확장 효율성을 보입니다.

팩트모델 가중치는 허깅페이스를 통해 공개되었으며 메모리 효율성을 위해 4비트 마이크로스케일링 부동소수점 형식으로 배포합니다. 추론 엔진으로는 혼합 전문가 아키텍처와 텐서 병렬 처리를 지원하는 브이엘엘엠 사용을 권장합니다.

교차검증2.8조 파라미터라는 거대한 규모로 인해 일반적인 인프라에서는 구동이 불가능하며 엔비디아 블랙웰 울트라가 탑재된 인스턴스가 필요합니다. 고사양 자원 확보를 위해 아마존 웹 서비스의 유연한 학습 플랜이나 이씨투 용량 블록 예약이 필수적입니다.

팩트아마존 웹 서비스는 모델 배포를 위해 아마존 세이지메이커 하이퍼팟과 아마존 이케이에스라는 두 가지 경로를 제공합니다. 하이퍼팟은 추론 오퍼레이터를 통해 컨테이너 오케스트레이션과 엔드포인트 관리를 자동화하여 배포 복잡성을 낮춥니다.

주장하이퍼팟 환경에서 배포할 경우 추론 엔드포인트 설정 매니페스트를 통해 모델을 정의하고 배포합니다. 이 과정에서 브이엘엘엠 컨테이너를 활용하여 모델 가중치를 로드하고 텐서 병렬 크기를 8로 설정하여 8개의 그래픽 처리 장치 자원을 효율적으로 활용합니다.

팩트Kimi K3는 100만 토큰의 컨텍스트 윈도우를 지원하며 텍스트와 비전을 동시에 처리하는 네이티브 멀티모달 기능을 갖췄습니다. 또한 항상 활성화된 사고 모드를 통해 다단계 문제 해결 능력을 강화했습니다.

교차검증이케이에스를 직접 관리하는 방식을 선호하는 팀은 이씨투 용량 블록을 통해 장기 약정 없이 필요한 기간만큼 인스턴스를 예약할 수 있습니다. 다만 이 방식은 세이지메이커 하이퍼팟에 비해 인프라 구성 및 관리 측면에서 더 높은 수준의 기술적 숙련도를 요구합니다.

주장이번 배포 가이드는 대규모 언어 모델의 오픈 웨이트화가 가속화됨에 따라 기업이 클라우드 인프라를 활용해 최첨단 인공지능 모델을 자사 서비스에 통합하는 실질적인 이정표를 제시합니다. 특히 하드웨어 가속기와 최적화된 추론 프레임워크의 결합이 모델 성능의 핵심입니다.

출처아마존 웹 서비스 공식 기계 학습 블로그를 통해 해당 내용을 교차 검증했습니다.