엔비디아, 다중 그래픽처리장치 기반 차원 축소 가속 기술 발표

주장엔비디아는 대규모 데이터셋에 대한 차원 축소 작업을 다중 그래픽처리장치(GPU) 환경에서 수행하는 기술을 확보했습니다. 회사는 기존 단일 그래픽처리장치의 기억장치 한계를 극복하고 수억 개의 벡터를 포함하는 데이터를 수 분 내에 처리합니다.

팩트엔비디아의 씨유엠엘(cuML) 및 씨유브이에스(cuVS) 25.06 버전은 다중 그래픽처리장치를 활용하는 모든 이웃(all-neighbors) 케이엔엔(kNN) 그래프 구축 기능을 도입했습니다. 이 기술은 전체 데이터를 균형 잡힌 군집으로 분할하여 각 그래픽처리장치가 독립적으로 연산을 수행하도록 설계되었습니다.

팩트8개의 엔비디아 에이치100(H100) 그래픽처리장치를 사용한 실험 결과, 중앙처리장치(CPU) 기반 예상 처리 시간 대비 최대 74배의 속도 향상을 기록했습니다. 이 수치는 수백 기가바이트 규모의 작업 부하를 처리하는 과정에서 시간 효율성을 개선합니다.

주장이번 기술의 핵심은 데이터를 군집 단위로 나누어 독립적으로 처리함으로써, 그래픽처리장치 사이의 통신 과정을 최소화한 점입니다. 각 그래픽처리장치는 중앙처리장치 기억장치에서 할당된 군집 데이터를 가져와 지역 케이엔엔 그래프를 생성하고 병합합니다.

팩트사용자는 케이엔엔 군집 수(knn_n_clusters)와 중첩 계수(knn_overlap_factor)라는 두 가지 핵심 매개변수를 통해 기억장치 사용량, 연산 시간, 임베딩 품질 간의 균형을 제어합니다. 군집 수를 늘리면 그래픽처리장치당 기억장치 부담이 줄어들고, 중첩 계수를 높이면 이웃 관계의 정확도가 향상됩니다.

교차검증중첩 계수를 높이면 각 군집당 처리해야 할 데이터 양이 증가하여 연산 시간이 늘어날 수 있습니다. 따라서 기억장치 효율과 임베딩 품질 사이의 균형을 찾는 설정 과정이 필수적입니다.

팩트엔비디아는 대규모 데이터셋에서 품질을 유지하면서 기억장치 사용량을 관리하기 위해, 중첩 계수를 높일 때 군집 수를 함께 늘리는 전략을 권장합니다. 이 전략은 대규모 데이터 분석 환경에서 자원 최적화를 위한 가이드라인입니다.

주장차원 축소 기법은 데이터 탐색, 주제 모델링, 단일 세포 분석 등 다양한 분야에서 활용됩니다. 이번 업데이트는 반복적인 데이터 분석이 필요한 연구자와 데이터 과학자에게 대규모 데이터셋을 실시간으로 다루는 환경을 제공합니다.

팩트이전 버전의 씨유엠엘은 단일 그래픽처리장치 기반 방식을 통해 기억장치 한계를 극복했으나, 학습 단계는 단일 그래픽처리장치에 국한되어 있었습니다. 이번 25.06 버전부터는 학습 단계까지 다중 그래픽처리장치로 확장되어 전체 파이프라인의 성능이 향상되었습니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/run-massive-scale-umap-in-minutes-using-multiple-gpus-without-losing-accuracy/)의 보도를 교차 검증했습니다.