AWS GPU 자원 확보 전략 및 최적화 솔루션

주장인공지능 산업이 급격히 성장하면서 머신러닝 학습과 추론에 필요한 그래픽 처리 장치(GPU) 수요가 공급을 넘어섰습니다. 이러한 자원 불균형은 기업이 안정적인 컴퓨팅 환경을 구축하는 데 걸림돌이 됩니다.

팩트아마존 탄력적 컴퓨팅 클라우드(EC2) 용량 블록은 특정 기간 GPU 자원을 미리 예약하는 서비스입니다. 사용자는 최대 8주 전 시작 시간을 예약하며, 1일부터 182일 사이 기간을 선택합니다.

팩트이 서비스는 온디맨드 요금 대비 40~50% 낮은 가격을 제공합니다. 미국 동부 지역 기준 피5.48엑스라지 인스턴스는 온디맨드 시 시간당 55.04달러이나, 예약 시 34.608달러로 비용이 줄어듭니다.

팩트아마존 세이지메이커 훈련 플랜은 관리형 환경에서 GPU 자원을 예약하는 대안입니다. 해당 플랜은 온디맨드 요금보다 70~75% 저렴하며 훈련 작업, 하이퍼포드 클러스터, 추론 워크로드에 적용됩니다.

교차검증용량 블록은 피5, 트레니움1, 트레니움2 등 특정 인스턴스 유형만 지원합니다. 세이지메이커 관리형 인스턴스 유형과는 호환되지 않으므로 사용 전 지원 여부를 반드시 확인해야 합니다.

팩트스팟 인스턴스는 온디맨드 대비 최대 90%의 비용 절감 효과를 보입니다. 다만 자원 회수 시 작업이 중단될 위험이 있어 체크포인트 저장이 가능한 분산 학습이나 배치 추론 작업에 적합합니다.

주장단기 GPU 자원 전략은 가용성, 비용 모델, 워크로드 환경이라는 세 가지 요소를 고려해야 합니다. 직접적인 인스턴스 제어 필요 여부에 따라 용량 블록과 세이지메이커 관리형 서비스 중 선택합니다.

교차검증용량 블록은 예약 기간 내 하드웨어 장애를 대비해 예비 자원을 유지합니다. 다만 사용자가 직접 인스턴스를 교체하고 재시작해야 하는 수동 작업이 일부 발생할 수 있습니다.

팩트대규모 이벤트나 프로덕션 배포를 위해 대량의 GPU 자원이 필요할 경우 최소 3주 전 계획 수립이 필요합니다. 아마존 웹 서비스 계정 팀과 협력하여 요구 사항을 평가하고 타임라인에 맞는 전략을 개발합니다.

출처아마존 웹 서비스 공식 블로그의 머신러닝 워크로드 자원 확보 전략 문서를 교차 검증했습니다.