AWS, 엔비디아 블랙웰 기반 G7e 인스턴스 출시

주장아마존 웹 서비스(AWS)는 생성형 인공지능(AI) 수요 증가에 대응하고자 엔비디아 블랙웰 아키텍처 기반의 G7e 인스턴스를 아마존 세이지메이커 AI에 도입합니다. 기업은 이를 통해 유연하고 강력하며 비용 효율적인 방식으로 AI 추론을 수행합니다.

팩트G7e 인스턴스는 엔비디아 RTX PRO 6000 블랙웰 그래픽처리장치(GPU)를 탑재하며 GPU당 96GB의 GDDR7 메모리를 제공합니다. 사용자는 작업 규모에 따라 1개부터 8개까지 GPU 노드를 선택하여 구성합니다.

팩트G7e 인스턴스는 이전 세대인 G6e 대비 최대 2.3배의 추론 성능을 보입니다. 네트워크 처리량은 최대 1,600Gbps를 지원하며 이는 G6e 대비 4배, G5 대비 16배 향상된 수치입니다.

팩트G7e.48xlarge 인스턴스는 총 768GB의 GPU 메모리를 제공하여 단일 인스턴스에서 대규모 언어 모델을 구동합니다. 이전에는 여러 노드가 필요했던 모델을 단일 노드에서 처리하여 운영 복잡성을 줄입니다.

팩트32개 동시 요청 환경에서 G7e의 토큰당 비용은 0.79달러로 G6e의 2.06달러 대비 약 2.6배 저렴합니다. 이는 낮은 시간당 비용과 높은 처리량 유지 능력에서 기인합니다.

팩트G7e 인스턴스는 챗봇, 에이전트 워크플로우, 텍스트 및 이미지 생성, 물리 AI 시뮬레이션 등 다양한 생성형 AI 작업에 적합합니다. 특히 4배 향상된 중앙처리장치(CPU)-GPU 대역폭은 검색 증강 생성(RAG) 파이프라인의 성능을 개선합니다.

팩트G7e 인스턴스를 사용하려면 AWS 계정과 세이지메이커 AI 접근 권한이 필요합니다. 서비스 쿼터 콘솔을 통해 ml.g7e.2xlarge 이상의 인스턴스 사용 할당량을 확보해야 하며 배포를 위한 샘플 노트북은 AWS 저장소에서 이용합니다.

주장G7e의 단일 GPU 아키텍처는 다중 GPU 간의 동기화 오버헤드나 엔비디아 링크(NVLink) 병목 현상을 제거합니다. 동시성이 높아져도 지연 시간이 예측 가능하게 유지되어 생산 환경에서의 안정성을 확보합니다.

교차검증G7e는 비용 효율적인 대규모 추론에 최적화되었으나 지연 시간에 민감한 저동시성 작업에서는 기존 G6e의 다중 GPU 병렬 처리가 더 빠른 응답 속도를 보일 가능성이 있습니다. 사용 목적에 따른 인스턴스 선택 전략이 필요합니다.

출처AWS 공식 블로그(https://aws.amazon.com/blogs/machine-learning/accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances/)를 통해 해당 내용을 교차 검증했습니다.