아마존 세이지메이커 AI 컨테이너 이미지 캐싱 도입

주장아마존 세이지메이커 AI는 생성형 AI 모델의 확장성을 높이기 위해 컨테이너 이미지 캐싱 기능을 새롭게 도입했습니다. 이 기술은 새로운 인스턴스가 시작될 때 발생하는 컨테이너 이미지 다운로드 지연 시간을 제거하여 전체적인 확장 속도를 개선합니다.

팩트이번 업데이트를 통해 생성형 AI 모델의 엔드투엔드 지연 시간이 최대 2배까지 단축되었습니다. 큐웬3-8B(Qwen3-8B) 모델을 엠엘.지6.2엑스라지(ml.g6.2xlarge) 인스턴스에서 테스트한 결과, 기존 525초였던 시작 지연 시간이 258초로 약 51퍼센트 감소했습니다.

팩트컨테이너 이미지 다운로드와 모델 아티팩트 다운로드는 병렬로 진행되지만, 이미지 캐싱을 사용하면 네트워크 대역폭 경쟁이 줄어듭니다. 이미지 다운로드 시간이 0초로 단축되면서 모델 아티팩트 다운로드 시간 또한 기존 168초에서 77초로 단축되는 효과를 보였습니다.

교차검증캐시된 이미지를 사용할 수 없는 경우, 세이지메이커 AI는 자동으로 아마존 이씨알(ECR)에서 이미지를 가져오는 방식으로 전환합니다. 따라서 캐싱 기능이 작동하지 않더라도 시스템 확장 자체가 차단되는 일은 발생하지 않습니다.

팩트컨테이너 캐싱은 세이지메이커 AI의 추론 엔드포인트에서 가속기 인스턴스 유형을 사용할 때 자동으로 활성화됩니다. 사용자는 별도의 설정을 변경하거나 컨테이너를 수정할 필요 없이 즉시 이 기능을 활용할 수 있습니다.

주장이번 기능은 기존에 도입된 1분 미만 클라우드워치 지표 및 추론 구성 요소 데이터 캐싱과 결합하여 최상의 성능을 발휘합니다. 세 가지 최적화 기술이 함께 작동하면 수요 감지부터 인스턴스 시작까지의 전 과정에서 지연 시간을 최소화할 수 있습니다.

팩트보안 측면에서 각 캐시는 단일 고객 엔드포인트에 전용으로 할당되며 다른 아마존 웹 서비스(AWS) 계정이나 엔드포인트와 공유되지 않습니다. 고객이 세이지메이커 AI 엔드포인트를 삭제하면 관련 이미지 캐시도 자동으로 삭제되어 엄격한 테넌트 격리를 보장합니다.

팩트초기 액세스 고객 테스트 결과, 엠엘.지4디엔.엑스라지(ml.g4dn.xlarge) 인스턴스에서 최대 65퍼센트의 성능 개선이 관찰되었습니다. 성능 향상 폭은 인스턴스 유형, 컨테이너 이미지 크기, 그리고 모델의 크기에 따라 다르게 나타납니다.

교차검증이 기술은 아마존 이씨알에 호스팅된 모든 컨테이너 이미지와 호환되며 커스텀 이미지도 지원합니다. 다만, 현재는 세이지메이커 AI 추론 엔드포인트의 가속기 인스턴스 유형에서만 지원되므로 사용 가능한 리전과 인스턴스 유형을 공식 문서를 통해 확인해야 합니다.

주장이번 기술 도입은 대규모 언어 모델을 운영하는 기업들이 인프라 확장 과정에서 겪는 병목 현상을 해결하는 데 기여할 것으로 보입니다. 특히 실시간 추론이 중요한 서비스 환경에서 운영 효율성을 높이는 핵심 요소로 작용합니다.

팩트세이지메이커 AI는 이번 업데이트를 통해 인프라 관리 부담을 줄이고 개발자가 모델 배포에 집중할 수 있는 환경을 조성합니다. 이는 클라우드 기반 인공지능 서비스의 가용성을 높이는 전략적 행보입니다.

출처아마존 웹 서비스 공식 블로그 및 세이지메이커 AI 기술 문서를 교차 검증했습니다.