거대언어모델 아키텍처의 메모리 효율 개선 기술 분석

주장거대언어모델(LLM) 아키텍처의 핵심 목표는 긴 문맥을 처리할 때 발생하는 메모리 병목 현상을 해결하는 것입니다. 추론 모델과 에이전트 워크플로우가 더 많은 토큰을 유지해야 함에 따라 키-값(KV) 캐시 크기와 메모리 트래픽을 줄이는 작업이 필수적인 과제가 되었습니다.

팩트구글은 최근 젬마 4 모델군을 발표했습니다. 이 모델군은 모바일 및 사물인터넷(IoT) 기기를 위한 E2B와 E4B, 효율적인 로컬 추론을 위한 26B MoE 모델, 고품질 출력을 위한 31B 밀집 모델로 구성됩니다. 해당 모델들은 긴 문맥 처리를 위해 키-값 공유 및 레이어별 임베딩 기술을 도입했습니다.

팩트젬마 4 E2B와 E4B 모델은 키-값 공유 기법을 사용하여 이전 레이어의 상태를 재사용합니다. 이는 각 레이어에서 키-값 상태를 새로 계산하지 않아 메모리 사용량을 줄이는 방식입니다.

교차검증키-값 공유는 모델의 메모리 효율성을 높이지만, 모델의 실제 용량을 다소 감소시키는 근사치 계산이라는 한계가 있습니다. 다만, 소규모 모델 테스트 결과 성능 저하 영향은 최소화되는 것으로 확인되었습니다.

팩트젬마 4 E2B 모델은 총 35개의 트랜스포머 레이어 중 15개 레이어만 자체 키-값을 계산하고, 나머지 20개 레이어는 이전 레이어의 값을 재사용합니다. 이를 통해 128K 문맥 길이에서 bfloat16 정밀도 기준 약 2.7GB의 메모리를 절약합니다.

팩트젬마 4 E4B 모델은 42개 레이어 중 24개 레이어가 자체 키-값을 계산하며, 나머지 18개 레이어가 이를 공유합니다. 이 방식을 통해 128K 문맥에서 약 6GB의 메모리 절감 효과를 거둡니다.

주장젬마 4의 'E' 모델에 적용된 레이어별 임베딩(PLE) 기술은 파라미터 효율성을 극대화합니다. 이는 트랜스포머 스택의 비용을 크게 늘리지 않으면서도 토큰별 정보를 더 많이 활용하도록 돕습니다.

팩트젬마 4 E2B 모델은 실제 파라미터가 2.3B이지만, 임베딩을 포함하면 총 5.1B 파라미터 규모를 가집니다. E4B 모델 역시 4.5B의 유효 파라미터에 임베딩을 합쳐 8B 규모로 운영됩니다.

교차검증이러한 아키텍처 변화는 데이터셋 구성이나 학습 일정, 강화학습(RL) 레시피와 같은 모델의 소프트웨어적 측면과는 별개의 하드웨어 최적화 설계입니다. 따라서 모델의 구조적 효율성은 개선되지만, 최종 성능은 학습 데이터와 후속 훈련 과정에 따라 달라질 수 있습니다.

출처세바스찬 라슈카 박사의 최신 거대언어모델 아키텍처 분석 보고서(https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures)를 교차 검증했습니다.