엔비디아, 고성능 추천 시스템 워크플로우 공개

주장엔비디아(NVIDIA)가 공개한 생성형 추천 시스템 워크플로우는 기존의 분리된 추천 단계를 하나의 시퀀스 모델링 문제로 재정의합니다. 이 방식은 사용자의 긴 이력과 변화하는 아이템 카탈로그를 처리하는 강력한 접근법입니다.

팩트엔비디아는 깃허브(GitHub)의 레시스 엑스맵플스(recsys-examples) 저장소를 통해 계층적 순차 변환 유닛(HSTU, Hierarchical Sequential Transduction Unit) 모델을 위한 엔드투엔드 추론 워크플로우를 제공합니다. 해당 워크플로우는 파이토치 에이오티아이(PyTorch AOTI) 컴파일러와 플렉스케이비(FlexKV) 기반의 키-값 캐싱(KV Caching) 기술을 통합해 작동합니다.

팩트엔비디아 알티엑스 프로 6000 블랙웰(RTX PRO 6000 Blackwell) 워크스테이션 그래픽 처리 장치(GPU) 환경에서 8계층 HSTU 모델을 시험한 결과, 100% 그래픽 처리 장치 키-값 캐시 적중률 조건에서 기존 에이오티아이 구성 대비 최대 5.93배 낮은 지연 시간을 기록했습니다. 3계층 모델은 동일 조건에서 최대 4.47배의 성능 향상을 보였습니다.

주장추천 시스템의 추론 성능을 저해하는 요인은 사용자 이력을 매번 처음부터 다시 계산하는 비효율성입니다. 키-값 캐싱은 이전에 계산된 키-값 데이터를 저장해 중복 연산을 방지합니다.

팩트새로운 워크플로우는 케이비캐시매니저(KVCacheManager)를 통해 그래픽 처리 장치 메모리와 호스트 스토리지를 활용한 계층적 캐싱을 지원합니다. 그래픽 처리 장치 캐시는 페이징된 테이블 형태로 구성되며, 메모리 부족 시 엘알유(LRU, Least Recently Used) 정책에 따라 데이터를 관리합니다.

주장파이토치 에이오티아이(Ahead-of-Time Inductor)는 모델을 네이티브 씨플러스플러스(C++) 아티팩트로 미리 컴파일해 파이썬 런타임 오버헤드를 제거합니다. 이를 통해 개발 단계의 모델을 별도의 재작성 없이 즉시 프로덕션 환경으로 배포합니다.

교차검증생성형 추천 모델은 긴 시퀀스를 처리할 때 높은 연산 비용이 발생하므로 모델 배포만으로는 부족합니다. 임베딩 캐시 같은 메모리 최적화 기술이 병행되어야 대규모 서비스 환경에서 안정적인 성능을 유지할 수 있습니다.

팩트임베딩 테이블 관리에는 엔브이 임베딩 캐시(NV Embedding Cache) 기술이 적용되어 자주 사용되는 임베딩 데이터만 그래픽 처리 장치 메모리에 저장하고 전체 테이블은 중앙 처리 장치(CPU) 메모리에 유지합니다. 이 방식은 그래픽 처리 장치 메모리 사용량을 관리하면서 추론 속도를 최적화합니다.

주장다이나모-트라이톤(Dynamo-Triton)은 수출된 에이오티아이 모델 아티팩트를 로드해 프로덕션 서빙 계층을 담당합니다. 이 통합된 배포 경로는 개발 단계의 검증과 실제 운영 환경의 일관성을 유지합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/deploying-an-hstu-generative-recommender-with-nvidia-dynamo-triton/)의 보도를 교차 검증했습니다.