아제르바이잔어 거대언어모델 학습 효율 최적화 사례

주장아제르바이잔어처럼 학습 데이터가 부족하고 형태론적으로 복잡한 언어를 처리하려면 맞춤형 토크나이저와 효율적인 학습 프레임워크 구축이 필수적입니다. 범용 모델을 그대로 사용하는 방식보다 언어 특성에 맞춘 최적화가 모델의 성능과 효율을 극대화합니다.

팩트아제르셀은 아마존웹서비스(AWS) 생성형 AI 혁신 센터와 6주간 협력하여 아마존 세이지메이커 AI 기반의 학습 프레임워크를 개발했습니다. 이 과정에서 ml.p5.48xlarge 인스턴스를 활용해 학습 처리량을 23% 향상하고 그래픽 처리 장치(GPU) 메모리 사용량을 58% 절감했습니다.

팩트아제르바이잔어는 접미사를 통해 문법적 의미를 표현하는 형태론적으로 풍부한 언어입니다. 기존 영어 중심의 토크나이저는 이러한 단어를 과도하게 분절하여 컨텍스트 윈도우를 낭비하는 문제가 있었습니다.

팩트연구진은 바이트 수준 바이트 페어 인코딩(BBPE) 알고리즘을 사용하여 10만 개의 토큰으로 구성된 맞춤형 토크나이저를 개발했습니다. 이를 통해 단어당 토큰 수를 기존 3.22개에서 1.59개로 줄여 인코딩 효율을 2배 개선했습니다.

팩트맞춤형 토크나이저 도입 결과, 모델의 예측 품질을 나타내는 바이트당 비트(BPB) 수치는 0.5795를 기록했습니다. 이는 기존 모델의 0.6830보다 우수한 성능을 보인 수치입니다.

팩트인코딩 효율 개선에 따라 모델의 컨텍스트 윈도우 내에서 처리할 수 있는 아제르바이잔어 텍스트 양은 두 배로 증가했습니다.

팩트학습 파이프라인은 토크나이저 개발, 지속적 사전 학습(CPT), 저순위 적응(LoRA)을 이용한 지도 미세 조정의 3단계로 구성했습니다. 각 단계는 독립적으로 최적화가 가능하며 아마존 세이지메이커 AI를 통해 필요할 때만 자원을 할당하여 비용 효율성을 확보했습니다.

팩트분산 학습을 위해 파이토치의 완전 샤딩 데이터 병렬(FSDP) 기술을 적용하여 파라미터와 그래디언트, 옵티마이저 상태를 GPU 간에 분산했습니다. 이를 통해 ml.p4d.24xlarge 인스턴스에서 GPU당 모델 상태 메모리 점유율을 9.23GB에서 1.17GB로 크게 낮췄습니다.

주장라이거 커널과 같은 메모리 효율적인 연산 방식을 도입하면 중간 메모리 할당을 줄이고 GPU 커널 실행을 최적화할 수 있습니다. 이는 저자원 언어 모델 학습 시 하드웨어 투자 대비 학습 처리량을 극대화하는 핵심 전략입니다.

교차검증이번 프로젝트는 1B 규모의 모델을 대상으로 한 개념 증명 단계였습니다. 향후 더 큰 규모의 모델로 확장할 때는 분산 학습 설정과 하드웨어 자원 배분에 대한 추가적인 검증이 필요합니다.

주장이번 사례는 특정 언어의 언어적 특성을 반영한 기술적 접근이 모델의 자원 효율성을 어떻게 개선할 수 있는지 보여줍니다. 향후 다양한 저자원 언어 모델 개발에 중요한 참고 사례가 될 것입니다.

출처AWS 공식 블로그(https://aws.amazon.com/blogs/machine-learning/training-azerbaijani-language-models-on-amazon-sagemaker-ai/)를 통해 해당 내용을 교차 검증했습니다.