Thinking Machines의 1조 파라미터 멀티모달 모델 Inkling 공개

팩트Thinking Machines는 2026년 7월 15일 텍스트와 이미지, 오디오를 네이티브로 이해하는 대규모 멀티모달 모델 Inkling을 공개했습니다. 해당 모델은 45조 개의 데이터 토큰으로 학습을 완료했습니다.

팩트Inkling은 1조 개의 파라미터를 보유하며 100만 토큰의 컨텍스트 윈도우를 지원합니다. 방대한 데이터를 한 번에 처리하는 능력을 갖췄습니다.

팩트모델 구조는 디코더 전용 멀티모달 혼합 전문가 방식을 채택했습니다. 전체 9750억 개의 파라미터 중 추론 시에는 410억 개만 활성화하여 연산 효율을 높였습니다.

팩트256개의 전문가 네트워크를 포함하며 라우터가 6개의 전문가와 2개의 공유 전문가를 선택하는 구조입니다. 이러한 설계는 추론 속도 개선에 기여합니다.

팩트위치 정보 인코딩에는 상대적 어텐션 방식을 도입했습니다. 글로벌 어텐션과 슬라이딩 윈도우 어텐션을 5대 1 비율로 혼합하여 연산 효율을 극대화했습니다.

팩트로컬 표현력 강화를 위해 1차원 컨볼루션 기술을 적용했습니다. 어텐션과 혼합 전문가 모듈이 고차원 추론에 집중하도록 부담을 분산했습니다.

교차검증모델의 규모가 커서 BF16 버전은 2테라바이트의 비디오 램을 요구합니다. NVFP4 버전 역시 600기가바이트의 비디오 램이 필요하여 일반 소비자용 하드웨어에서는 구동이 어렵습니다.

팩트Inkling은 허깅페이스의 트랜스포머 라이브러리에서 즉시 사용 가능합니다. 에스지랭, 브이엘엘엠, 라마닷씨피피 등 주요 추론 엔진도 지원합니다.

팩트사용자는 추론 강도를 조절하는 리즈닝 이포트 파라미터를 활용할 수 있습니다. 이를 통해 작업 성격에 맞춘 최적화된 결과값을 도출합니다.

주장Inkling은 차세대 멀티모달 추론 애플리케이션을 구축하려는 개발자들에게 강력한 기반을 제공합니다. 특히 비디오 처리와 같은 복잡한 미디어 분석 작업에서 높은 성능을 보입니다.

주장복잡한 추론 작업과 도메인 적응형 파인튜닝에 최적화된 설계는 인공지능 기술의 활용 범위를 넓힐 것으로 전망합니다.

출처Thinking Machines 공식 기술 문서와 허깅페이스 블로그를 교차 검증했습니다. 본 내용은 2026년 7월 15일 발표된 자료를 바탕으로 작성했습니다.