AWS 세이지메이커 점프스타트, 사용 사례별 최적화 배포 기능 출시

주장아마존 웹 서비스(AWS)가 세이지메이커 점프스타트(SageMaker JumpStart)에서 사용 사례 기반의 최적화 배포 기능을 출시했습니다. 이 기능은 사용자가 복잡한 인프라 설정 없이도 특정 작업에 최적화된 모델 배포 환경을 구축하도록 지원합니다.

팩트기존의 동시 사용자 기반 설정은 일반적인 시나리오에는 적합하지만, 콘텐츠 생성이나 질의응답 같은 구체적인 작업에는 효율성이 떨어집니다. 새로운 기능은 사용자가 성능 지표를 직접 선택하여 배포 효율을 극대화하도록 돕습니다.

팩트사용자는 배포 과정에서 비용 최적화, 처리량 최적화, 지연 시간 최적화 중 하나를 선택할 수 있습니다. 모든 지표의 균형을 맞추려는 사용자를 위한 균형 옵션도 함께 제공합니다.

교차검증시스템은 모델 배포 시 P50 지연 시간, 첫 토큰 생성 시간, 초당 토큰 처리량 등의 지표를 시각화하여 제공합니다. 다만, 사용자는 배포 전 자신의 애플리케이션에 적합한 설정을 실험을 통해 직접 검증해야 합니다.

팩트최적화 배포를 사용하려면 AWS 계정과 세이지메이커 스튜디오 도메인, 그리고 모델과 엔드포인트를 생성할 수 있는 아이덴티티 및 액세스 관리(IAM) 역할이 필요합니다. 요건을 충족하면 세이지메이커 스튜디오 내 모델 허브에서 즉시 이용할 수 있습니다.

팩트현재 메타의 라마 3.1 및 3.2 시리즈, 마이크로소프트의 파이-3, 미스트랄 AI의 미스트랄 및 믹스트랄 모델이 지원됩니다. 또한 큐웬과 구글의 젬마 시리즈, 팔콘3 모델도 최적화 배포 목록에 포함되어 있습니다.

주장이번 업데이트는 인공지능 모델 배포의 진입 장벽을 낮추는 중요한 변화입니다. 기업은 인프라 설정에 들이는 시간을 줄이고, 실제 비즈니스 가치를 창출하는 모델 개발에 집중할 수 있습니다.

교차검증현재는 텍스트 기반 모델 위주로 최적화 배포를 지원합니다. 향후 이미지 및 비디오 입력 유형에 대한 지원이 추가될 예정이므로, 현재는 텍스트 모델 사용 시에만 이 기능을 활용할 수 있습니다.

팩트사용자는 배포 과정에서 타임아웃 설정, 엔드포인트 명명, 보안 설정 등 추가적인 구성 값을 검토하고 선택할 수 있습니다. 모든 설정을 마치면 하단의 배포 버튼을 눌러 엔드포인트를 생성합니다.

출처아마존 웹 서비스의 공식 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/use-case-based-deployments-on-sagemaker-jumpstart/)를 통해 해당 내용을 교차 검증했습니다.