아마존 노바 모델 파인튜닝을 위한 노바 포지 SDK 활용 가이드

주장아마존 노바 포지(Nova Forge) 소프트웨어 개발 키트(SDK)를 활용하면 모델의 범용 성능을 유지하면서 특정 도메인 데이터에 최적화된 파인튜닝이 가능합니다. 아마존은 데이터 혼합 기법을 통해 고객 데이터와 자사가 선별한 데이터셋을 결합하여 모델의 성능 저하를 방지합니다.

팩트이전 실험 결과에 따르면 데이터 혼합 기법을 적용했을 때 고객의 음성 분류 작업에서 에프원(F1) 점수가 12포인트 향상되었습니다. 반면 고객 데이터만으로 오픈소스 모델을 파인튜닝할 경우 모델의 일반적인 기능이 상실되는 결과가 나타났습니다.

팩트파인튜닝 워크플로우는 환경 설정, 데이터 준비, 학습 구성, 모델 학습, 모델 평가의 5단계로 구성됩니다. 각 단계는 아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)과 엠엘플로우(MLflow)를 활용하여 체계적으로 관리합니다.

팩트학습 데이터 준비 단계에서는 제이슨엘(JSONL), 제이슨(JSON), 시에스브이(CSV) 형식을 지원하며 토큰 수준의 검증이 필요합니다. 모델의 내부 챗 템플릿과 충돌하는 특정 문자열은 학습 신호를 왜곡할 수 있으므로 정제 과정을 거쳐야 합니다.

팩트노바 포지 SDK는 제이슨엘 데이터셋 로더(JSONLDatasetLoader)를 통해 원시 데이터를 노바 모델이 요구하는 구조화된 대화 형식으로 변환합니다. 각 질문-답변 쌍은 역할 태그와 구분자가 포함된 다중 턴 대화 형식으로 재구성됩니다.

팩트데이터 정제 단계에서는 이오에스(EOS), 이미지(image)와 같은 특수 토큰을 제거합니다. 모델의 템플릿과 충돌하는 단어 뒤에 공백을 삽입하여 패턴 매칭 오류를 방지하며, 이러한 전처리는 모델이 학습 데이터의 구조를 정확하게 이해하도록 돕습니다.

팩트SDK 설치를 위해서는 세이지메이커 하이퍼팟 씨엘아이(CLI) 도구가 필요하며, 제공된 설치 스크립트를 통해 가상 환경 내에서 의존성을 설정합니다. 이후 핍(pip) 명령어를 통해 아마존 노바 포지 및 관련 라이브러리를 설치하여 환경을 구축합니다.

교차검증파인튜닝 과정에서 사용하는 엠엘 점 피오(ml.p5.48xlarge) 그래픽 처리 장치(GPU) 인스턴스는 고성능 자원으로 비용이 발생합니다. 따라서 전체 학습을 시작하기 전에 맥스 스텝스(max_steps)를 5와 같이 짧게 설정하여 테스트 실행을 거친 뒤 설정을 검증하는 것이 좋습니다.

주장이번 가이드는 반복 가능한 플레이북을 제공하여 사용자가 자신의 특정 사용 사례에 맞춰 모델을 커스터마이징하도록 돕습니다. 이는 노바 포지 SDK 시리즈의 두 번째 글로, 실험 설정부터 평가까지 전 과정을 다룹니다.

출처해당 내용은 아마존 웹 서비스의 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/nova-forge-sdk-series-part-2-practical-guide-to-fine-tune-nova-models-using-data-mixing-capabilities/)를 교차 검증했습니다.