GPU 클럭 동적 조정을 통한 거대언어모델 학습 에너지 절감 기술

주장트벤테 대학교 연구진은 거대언어모델(LLM) 학습 과정에서 그래픽처리장치(GPU)의 클럭 주파수를 동적으로 조정하여 에너지 효율을 개선합니다. 이는 소프트웨어 최적화에 집중하던 기존 방식에서 벗어나 하드웨어를 작업 특성에 맞게 직접 최적화하는 새로운 접근법입니다.

팩트거대언어모델 학습에는 막대한 전력이 필요합니다. 2023년 기준 최신 모델 학습에 약 50기가와트시의 전력이 소모되었으며, 이는 미국 가정 5,000가구가 1년 동안 사용하는 전력량과 같습니다. 모델 규모가 커짐에 따라 전력 소비량은 계속 증가합니다.

팩트연구진은 동적 전압 주파수 스케일링(DVFS) 기술을 활용합니다. 이들은 GPU의 연산 코어와 메모리 클럭을 작업 단위인 커널 수준에서 세밀하게 제어합니다. 기존의 반복 단위 조정 방식보다 정밀한 제어가 가능해 에너지 낭비를 줄입니다.

팩트실험 결과, 연구진은 GPT-3-xl 모델의 단일 레이어 학습 과정에서 14%의 에너지 절감 효과를 확인했습니다. 이때 학습 속도 저하는 0.6%에 불과하여 성능 손실을 최소화하면서 에너지 효율을 높였습니다.

팩트연구를 주도한 제프리 스판 박사 과정생은 지난달 시칠리아에서 열린 컴퓨팅 프론티어 학회에서 이 결과를 발표했습니다. 그는 연구진이 개발한 수동 조정 방식이 하드웨어 자체 자동 DVFS보다 높은 효율을 낸다고 설명했습니다.

팩트GPU는 내부적으로 자동 DVFS를 수행하지만, 이는 실시간 추측 방식이라 미래의 커널 작업을 예측하지 못합니다. 연구진의 방식은 실행될 커널을 미리 파악하여 최적의 주파수를 적용하므로 에너지 절감 폭이 큽니다.

주장연구진은 현재 특정 작업 부하에 맞춰 최적의 주파수 스케일링을 자동으로 구현하는 도구를 개발하고 있습니다. 이 도구가 상용화되면 성능 저하 없이 에너지 비용을 절감해야 하는 산업계에 큰 기여를 할 것으로 기대합니다.

교차검증연구진이 제시한 14%의 절감 수치는 클럭 주파수 전환 시간을 고려하지 않은 최상의 시나리오입니다. 실제 환경에서는 하드웨어의 주파수 전환 속도에 따라 절감 폭이 달라질 수 있습니다.

교차검증블랙웰 GPU와 같은 최신 하드웨어는 이전 세대보다 빠른 주파수 전환 속도를 갖추어 연구진의 기술 적용 시 더 큰 효과를 낼 것으로 예상합니다. 반면 구형 하드웨어에서는 전환 지연으로 인해 에너지 절감 효과가 제한적일 수 있습니다.

주장하드웨어의 주파수 전환 속도가 기술의 실효성을 결정하는 핵심 변수로 작용합니다. 따라서 향후 하드웨어 설계 단계에서 이러한 최적화 기술을 고려하는 것이 중요합니다.

주장이번 연구는 인공지능 학습의 지속 가능성을 확보하는 중요한 이정표가 됩니다. 에너지 효율 개선은 인공지능 산업의 경제적 부담을 줄이는 핵심 요소입니다.

출처IEEE 스펙트럼의 거대언어모델 학습 에너지 절감 기술 관련 보도를 교차 검증했습니다.