딥시크-V4의 에이전트 최적화 및 100만 토큰 처리 기술

주장딥시크-V4는 단순한 벤치마크 점수보다 에이전트 작업의 실질적인 수행 효율에 집중한 모델입니다. 기존 인공지능 모델이 긴 문맥을 처리할 때 겪는 키-밸류 캐시 부족과 높은 추론 비용 문제를 해결하는 데 주력했습니다.

팩트딥시크-V4는 두 가지 버전으로 출시되었습니다. 딥시크-V4-프로는 총 1조6000억 개의 파라미터와 490억 개의 활성 파라미터를 갖췄으며, 딥시크-V4-플래시는 총 2840억 개의 파라미터와 130억 개의 활성 파라미터를 보유합니다.

팩트딥시크-V4-프로는 이전 모델인 딥시크-V3.2 대비 단일 토큰 추론 연산량을 27% 수준으로 낮추고 키-밸류 캐시 메모리 사용량을 10%로 줄였습니다. 딥시크-V4-플래시는 연산량을 10%, 키-밸류 캐시를 7% 수준까지 낮추어 하드웨어 효율성을 높였습니다.

주장이러한 효율성은 압축 희소 어텐션과 고압축 어텐션을 결합한 하이브리드 어텐션 구조에서 비롯됩니다. 이 방식은 레이어별로 최적화된 어텐션 패턴을 적용하여 자원 낭비를 방지하고 긴 문맥 처리를 가능하게 합니다.

팩트압축 희소 어텐션은 시퀀스 차원을 4배 압축하고 고압축 어텐션은 128배 압축하여 밀집 어텐션을 수행합니다. 이 기술과 부동소수점 8비트 및 4비트 데이터 저장 방식을 결합해 기존 대비 약 2% 수준의 키-밸류 캐시만으로 대규모 문맥 처리를 구현합니다.

주장딥시크-V4는 에이전트 성능 향상을 위해 도구 사용 시 추론 과정을 유지하는 방식을 도입했습니다. 기존 모델은 사용자 메시지가 변경될 때 추론 내용을 삭제했으나, 딥시크-V4는 도구 사용 시 전체 추론 이력을 보존하여 복잡한 다단계 작업을 지원합니다.

팩트딥시크-V4는 딥시크 모델 언어 특수 토큰과 확장 마크업 언어 기반 도구 호출 형식을 도입하여 기존 제이슨 형식에서 발생하던 파싱 오류를 줄였습니다. 또한 러스트 기반의 디섹 플랫폼을 통해 수십만 개의 샌드박스를 동시에 실행하여 에이전트 학습 효율을 높였습니다.

교차검증벤치마크 결과 딥시크-V4의 지식 및 추론 능력은 경쟁력 있는 수준이나 업계 최고 수준은 아닙니다. 다만 터미널 벤치마크나 소프트웨어 엔지니어링 벤치마크와 같은 실제 에이전트 작업에서는 최상위권 모델들과 대등한 성과를 보입니다.

팩트내부 연구개발 코딩 벤치마크에서 딥시크-V4-프로-맥스는 67%의 통과율을 기록했습니다. 딥시크 개발자 대상 설문조사 결과 응답자의 52%가 현재 사용하는 코딩 모델을 딥시크-V4로 대체할 준비가 되었다고 답했습니다.

출처허깅페이스 공식 블로그 및 딥시크-V4 기술 보고서를 교차 검증했습니다.