아마존 세이지메이커 AI의 용량 인식 인스턴스 풀 도입

주장아마존 세이지메이커 AI는 생성형 인공지능 워크로드의 안정적인 운영을 지원하고자 용량 인식 인스턴스 풀 기능을 새롭게 도입했습니다. 기존에는 단일 인스턴스 유형에 의존해야 했으나, 이제는 우선순위 목록을 통해 용량 부족 시 시스템이 자동으로 대체 인스턴스를 프로비저닝합니다.

팩트새로운 기능은 단일 모델 엔드포인트와 추론 구성 요소 기반 엔드포인트, 그리고 비동기 추론 엔드포인트에서 모두 사용 가능합니다. 사용자는 엔드포인트 구성 단계에서 인스턴스 유형의 우선순위 목록을 정의하여 수동 개입 없이 인프라를 확보합니다.

교차검증인스턴스 유형마다 그래픽처리장치 메모리와 컴퓨팅 성능이 다르기 때문에 모델 최적화 과정이 반드시 필요합니다. 고성능 인스턴스용 모델을 저사양 인스턴스에서 그대로 실행할 경우 성능 저하나 오류가 발생할 위험이 있습니다.

팩트사용자는 각 인스턴스 유형에 맞는 최적화된 모델을 개별적으로 준비하거나 세이지메이커 AI 추론 권장 사항 기능을 활용합니다. 모델 이름 재정의 기능을 통해 각 인스턴스 풀에 적합한 모델 아티팩트를 매칭하는 방식을 권장합니다.

팩트자동 확장 기능은 사용자가 정의한 우선순위 로직을 따릅니다. 확장 시에는 우선순위가 높은 인스턴스를 먼저 시도하며, 축소 시에는 우선순위가 낮은 인스턴스를 먼저 제거하여 선호하는 하드웨어 구성을 유지합니다.

팩트아마존 클라우드워치 지표에 인스턴스 유형 차원이 추가되었습니다. 이를 통해 지연 시간과 처리량, 그래픽처리장치 활용도 등을 인스턴스 유형별로 세밀하게 추적하고 분석합니다.

주장혼합된 인스턴스 환경에서는 단순 평균 지표가 실제 부하를 정확하게 반영하지 못할 가능성이 있습니다. 따라서 인스턴스별 최대 용량 대비 활용도 비율을 계산하여 가중치를 적용한 확장 지표를 사용하는 것이 효과적입니다.

교차검증가중치 기반 확장 지표를 설정할 때 각 인스턴스 유형의 처리량 차이를 고려하지 않으면 자동 확장 기능이 비효율적으로 작동할 수 있습니다. 0.0에서 1.0 사이의 활용도 비율을 사용하여 전체 플릿 수준의 부하를 정밀하게 제어해야 합니다.

팩트세이지메이커 AI는 인스턴스 풀을 통해 가용 자원이 확보될 때까지 자동으로 대체 유형을 시도합니다. 이 과정은 수동 재시도 없이 몇 분 이내에 엔드포인트를 서비스 가능 상태로 전환합니다.

출처아마존 웹 서비스 공식 블로그 및 아마존 세이지메이커 AI 공식 문서를 교차 검증했습니다.