엔비디아 님(NVIDIA NIM)의 넴로트론 3 울트라 성능 대폭 향상

주장엔비디아(NVIDIA)는 님(NVIDIA Inference Microservice)을 통해 대규모 언어 모델의 추론 성능을 극대화합니다. 기업은 실제 운영 환경에서 더 많은 동시 사용자를 수용할 수 있습니다. 엔비디아는 하드웨어 자원을 효율적으로 활용하여 서비스 반응성을 유지합니다.

팩트엔비디아의 테스트 결과에 따르면, 님 2.0.12 최적화 스택을 적용한 4xB200 시스템은 기존의 스택 대비 2.5배 높은 시스템 처리량을 기록했습니다. 해당 환경은 초당 50 토큰을 목표로 하는 에이전트형 인공지능 워크로드에서 초당 1997 토큰의 성능을 보였습니다.

팩트님 2.0.12 스택은 자동 튜닝 커널과 텐서 병렬 처리를 통합했습니다. 이 기술들은 접두사 및 상태 재사용, 스케줄러 및 메모리 튜닝, 멀티 토큰 예측 추측 디코딩 기술을 결합하여 블랙웰(Blackwell) 그래픽 처리 장치(GPU) 구조의 성능을 끌어올립니다.

팩트에이전트형 인공지능 워크로드는 긴 프롬프트와 반복적인 문맥 재사용이 빈번하게 발생합니다. 님은 접두사 캐싱과 상태 캐시 설정을 통해 반복 작업을 처리하여 시스템 부하를 낮춥니다.

주장님은 모델과 그래픽 처리 장치에 최적화된 설정을 검증된 마이크로서비스 형태로 제공하여 개발자의 운영 부담을 줄입니다. 기업은 보안 업데이트, 보안 취약점 대응, 하드웨어 검증이 포함된 기업용 배포 경로를 확보합니다.

팩트사용자는 엔비디아 엔지니어링 센터(NVIDIA NGC)에서 넴로트론 3 울트라 님을 다운로드하여 배포할 수 있습니다. 사용자는 지역 설정 없이 호스팅된 응용 프로그램 프로그래밍 인터페이스를 통해 즉시 실험할 수 있습니다. 배포 시에는 최적화된 프로필을 선택하여 성능을 극대화할 수 있습니다.

팩트엔비디아 에이아이퍼프(NVIDIA AIPerf) 도구는 실제 트래픽을 재현하여 성능을 평가하는 데 사용됩니다. 개발자는 이 도구를 통해 다양한 동시성 수준에서 모델의 응답 속도와 처리량을 측정합니다. 개발자는 이 과정을 거쳐 최적의 운영 환경을 설계할 수 있습니다.

교차검증발표된 성능 수치는 특정 하드웨어 구성과 워크로드 조건에서 측정된 결과입니다. 모든 응용 프로그램이 동일한 성능 향상을 경험하는 것은 아닙니다. 실제 환경에서는 엔비디아 에이아이퍼프 도구를 사용하여 자체 트래픽을 재현하고 지연 시간 목표에 맞는 설정을 찾아야 합니다.

교차검증성능 최적화는 단일 설정으로 해결되지 않으며, 처리량과 지연 시간 사이의 상충 관계를 고려해야 합니다. 개발자는 자신의 서비스가 요구하는 서비스 수준 목표를 충족하는 지점을 찾아 배포 설정을 확정해야 합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/how-full-stack-nim-optimizations-deliver-2-5x-more-users-on-nemotron-3-ultra/)의 보도를 교차 검증했습니다.