아마존 노바 마이크로 활용한 비용 효율적 텍스트-SQL 구현

주장기업 환경에서 특정 데이터베이스 스키마와 SQL 방언을 처리하려면 파운데이션 모델의 미세 조정이 필수적입니다. 기존의 상시 가동형 인프라는 사용량이 없는 시간대에도 비용이 발생하여 운영 효율을 저해합니다.

팩트아마존 베드록의 온디맨드 추론과 노바 마이크로 모델을 결합하면 서버리스 방식으로 토큰당 비용만 지불합니다. 고정된 인프라를 유지할 필요가 없어 운영 비용을 획기적으로 절감합니다.

팩트월 2만 2000건의 쿼리를 처리하는 워크로드 기준, 월 0.80달러의 비용으로 운영이 가능합니다. 이는 상시 호스팅 모델과 비교해 상당한 경제적 이점을 제공합니다.

교차검증로라 어댑터를 적용하면 추론 과정에서 오버헤드가 발생할 가능성이 있습니다. 다만, 테스트 결과 대화형 텍스트-SQL 애플리케이션 운영에 적합한 수준의 지연 시간을 유지합니다.

팩트솔루션 구현을 위해 아마존 베드록 노바 마이크로 모델과 아마존 세이지메이커 AI, 그리고 관련 아이에이엠 권한이 필요합니다. 세이지메이커 AI 학습을 위해서는 엠엘 지5 48엑스라지 인스턴스 할당량이 요구됩니다.

팩트데이터셋은 위키에스큐엘과 스파이더를 결합한 에스큐엘-크리에이트-컨텍스트를 사용합니다. 해당 데이터셋은 7만 8000개 이상의 자연어 질문과 에스큐엘 쿼리 쌍을 포함하여 복잡한 조인과 집계 학습을 지원합니다.

주장인프라 관리 없이 신속하게 모델을 미세 조정하려는 팀에는 아마존 베드록의 관리형 모델 커스터마이징이 적합합니다. 반면 하이퍼파라미터와 학습 인프라를 세밀하게 제어해야 하는 조직은 세이지메이커 에이아이를 활용하는 편이 유리합니다.

팩트노바 마이크로 미세 조정 시 에포크는 1회에서 5회, 학습률은 0.00001로 설정하여 안정적인 수렴을 유도합니다. 배치 사이즈는 1로 고정하며 데이터셋 규모에 따라 학습에 약 2시간에서 3시간이 소요됩니다.

팩트학습 과정에서 생성되는 훈련 손실과 검증 손실 지표는 아마존 에스3에 저장됩니다. 두 지표가 일관되게 감소하고 유사한 값으로 수렴하면 모델 학습이 성공적으로 완료됩니다.

출처아마존 웹 서비스의 머신러닝 블로그를 통해 해당 기술의 비용 효율성과 구현 방식을 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/cost-efficient-custom-text-to-sql-using-amazon-nova-micro-and-amazon-bedrock-on-demand-inference/)