아마존 베드록, 노바 모델 미세 조정으로 기업 맞춤형 AI 구현

주장아마존 베드록은 기업이 자체 지식과 업무 흐름을 반영하도록 아마존 노바 모델의 맞춤형 미세 조정을 지원합니다. 이 기술은 모델 가중치를 직접 수정하여 인공지능이 특정 도메인 지식을 완전히 내재화하도록 돕습니다.

팩트아마존 베드록은 지도 미세 조정, 강화 미세 조정, 모델 증류라는 세 가지 맞춤화 방식을 제공합니다. 사용자는 아마존 에스쓰리(S3)에 데이터를 올린 뒤 관리 콘솔이나 응용 프로그램 인터페이스를 통해 훈련 작업을 시작합니다.

교차검증프롬프트 엔지니어링이나 검색 증강 생성(RAG)은 즉각 적용이 가능하고 별도 훈련 비용이 들지 않습니다. 다만 매번 문맥 토큰을 소비하여 비용이 증가하고, 모델이 지식을 완전히 내재화하지 못한다는 한계가 있습니다.

팩트아마존 노바 마이크로 모델을 고객 서비스에 적용한 결과, 도메인 특화 문제에서 정확도가 5.4% 향상되었습니다. 일반적인 문제 해결 능력 또한 7.3% 개선되는 성과를 보였습니다.

주장미세 조정은 고품질의 라벨링 데이터나 보상 함수를 준비할 수 있는 대규모 작업에 적합합니다. 기업은 이를 통해 전통적인 머신러닝 분류기를 소형 거대언어모델(LLM)로 대체하여 더 높은 유연성을 확보합니다.

팩트아마존 베드록은 매개변수 효율적 미세 조정 기술을 자동으로 적용하여 메모리 요구 사항을 줄입니다. 이 방식은 전체 모델을 훈련하는 것보다 훨씬 빠르고 효율적으로 모델 품질을 유지합니다.

주장미세 조정된 모델은 온디맨드 방식으로 호출할 수 있어 추가적인 전용 용량을 구매할 필요가 없습니다. 이는 기업이 고성능 모델을 사용하면서도 인프라 운영 비용을 최적화할 수 있는 경제적 이점을 제공합니다.

팩트아마존 노바 2 라이트 모델은 100만 토큰의 컨텍스트 윈도우를 지원하여 400페이지 이상의 문서나 90분 분량의 영상을 한 번에 처리합니다. 이 모델은 문서 분석, 영상 이해, 코드 생성 및 에이전트 워크플로우에 최적화되어 있습니다.

교차검증미세 조정은 초기 데이터 준비와 훈련 작업에 시간과 비용이 소요되는 투자 과정입니다. 따라서 단순한 작업보다는 반복적이고 대규모로 발생하는 비즈니스 프로세스에 적용하는 것이 비용 효율적입니다.

출처아마존 웹 서비스 공식 블로그의 'Customize Amazon Nova models with Amazon Bedrock fine-tuning' 게시글을 교차 검증했습니다.