NVIDIA Topograph를 활용한 토폴로지 기반 워크로드 스케줄링

주장인공지능 팩토리와 같은 대규모 컴퓨팅 환경에서 그래픽 처리 장치 작업의 물리적 배치 최적화는 시스템 성능을 결정합니다.

팩트엔비디아 토포그래프는 클라우드 인터페이스나 자체 구축 망 시스템에서 군집 구조 정보를 자동으로 수집합니다.

팩트수집된 데이터는 쿠버네티스 노드 라벨, 슬럼 설정, 슬링키 설정 맵 등 스케줄러가 이해할 수 있는 표준 형식으로 바뀝니다.

교차검증기존의 수동 관리 방식은 군집 구성이 바뀔 때마다 스케줄러의 정보를 갱신해야 하는 번거로움이 있습니다.

팩트토포그래프는 군집 변화를 실시간으로 감지하여 구조 시각화 자료를 지속적으로 다시 만듭니다.

팩트지원되는 클라우드 제공 업체는 구글 클라우드, 람다, 네비우스, 엔스케일, 오라클 클라우드 인프라스트럭처입니다.

팩트자체 구축 환경에서는 인피니밴드, 스펙트럼-엑스, 다중 노드 엔브이링크 도메인을 지원합니다.

주장그래픽 처리 장치 간의 통신 효율을 높이기 위해서는 데이터가 이동하는 경로를 줄이는 통신 지역성 확보가 중요합니다.

팩트토포그래프는 스케줄러가 그래픽 처리 장치와 망 사이의 관계를 정확히 파악하게 하여 지역성을 극대화합니다.

팩트엔비디아의 5세대 엔브이링크는 장치당 초당 1.8테라바이트, 6세대 엔브이링크는 초당 3.6테라바이트의 양방향 대역폭을 제공합니다.

팩트토포그래프는 이러한 고대역폭 연결을 스케줄러가 인지하게 하여 가장 가까운 구조 도메인에 작업을 우선 배치합니다.

교차검증토포그래프는 응용 프로그램 인터페이스 서버, 노드 관찰자, 데이터 중개자, 공급자, 엔진 등 5개 구성 요소로 작동합니다.

팩트응용 프로그램 인터페이스 서버는 중복 요청을 통합하고 15초 정도의 집계 지연을 두어 군집 사건 발생 시 불필요한 연산 부하를 막습니다.

팩트사용자는 헬름 차트를 통해 쿠버네티스 환경에 토포그래프를 배포합니다.

팩트사용자는 운영 하드웨어가 없는 환경에서도 모의 실험 도구를 사용하여 구조 기반 스케줄링을 테스트합니다.

주장카이 스케줄러나 큐유 태스 같은 도구와 결합하면 인공지능 팩토리 기반 시설 전반에서 구조 기반의 동시 스케줄링이 가능해집니다.

출처NVIDIA Technical Blog(https://developer.nvidia.com/blog/topology-aware-workload-scheduling-with-nvidia-topograph/)의 보도를 교차 검증했습니다.