아마존 세이지메이커 하이퍼팟, 추론 비용 40% 절감

주장생성형 인공지능(AI) 모델을 운영하는 기업은 복잡한 인프라 설정과 예측 불가능한 트래픽으로 어려움을 겪습니다. 이러한 비효율은 모델 성능 저하와 비용 상승을 유발해 프로젝트 지속 가능성을 위협합니다.

팩트아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)은 자동화된 인프라와 비용 최적화 기능으로 총 소유 비용을 최대 40%까지 절감합니다. 해당 서비스는 개념 증명 단계부터 실제 운영까지의 배포 속도를 높입니다.

팩트하이퍼팟 클러스터는 아마존 이케이에스(Amazon EKS, Elastic Kubernetes Service)로 오케스트레이션하며 콘솔에서 클릭 한 번으로 배포합니다. 사용자는 빠른 설정이나 사용자 정의 설정을 선택해 인프라를 구축합니다.

팩트하이퍼팟은 에스쓰리(S3, Simple Storage Service) 버킷, 에프에스엑스 포 러스터(FSx for Lustre), 점프스타트(JumpStart) 등 다양한 소스에서 코딩 없이 모델을 배포하는 인터페이스를 제공합니다. 이를 통해 머신러닝 모델의 전체 수명 주기 동안 안정적인 배포와 확장이 가능합니다.

주장하이퍼팟은 케다(KEDA, Kubernetes Event-driven Autoscaling)와 카펜터(Karpenter)를 결합한 이중 계층 자동 확장 아키텍처로 비용 효율적인 인프라를 구현합니다. 이 구조는 실시간 수요에 따라 인프라를 0에서 생산 수준까지 동적으로 조절합니다.

팩트케다는 파드(Pod) 수준의 확장을 담당하며 트래픽이 없을 때 파드 수를 0으로 줄여 유휴 기간의 비용을 제거합니다. 카펜터는 노드 수준의 확장을 담당하며 파드 요구사항에 맞춰 컴퓨팅 노드를 프로비저닝하거나 제거합니다.

교차검증카펜터는 아마존 이케이에스 제어 평면에서 실행되므로 자동 확장기를 운영하기 위한 추가 컴퓨팅 비용이 발생하지 않습니다. 트래픽이 없을 때 모든 워커 노드를 제거하여 인프라 비용을 완전히 없앨 수 있음을 아마존 웹 서비스 공식 블로그를 통해 교차 검증했습니다.

팩트하이퍼팟은 관리형 계층형 케이브이(KV, Key-Value) 캐시 기능을 지원해 대규모 언어 모델의 추론 성능을 최적화합니다. 이는 긴 문맥을 처리할 때 그래픽 처리 장치(GPU) 메모리 압박을 줄이고 지연 시간을 개선합니다.

팩트지능형 라우팅 기능은 추론 요청을 효율적으로 분산해 모델 성능을 극대화합니다. 특히 다중 턴 대화나 긴 컨텍스트 프롬프트 처리 시 성능 저하 없이 안정적인 서비스를 제공합니다.

출처아마존 웹 서비스 공식 블로그의 '아마존 세이지메이커 하이퍼팟 추론 실행 모범 사례' 게시물을 통해 위 내용을 교차 검증했습니다.