쿠버네티스 환경 엔비디아 쿠다 기반 메모리 공유 기술 도입

주장엔비디아는 그래픽처리장치 자원의 효율적인 활용을 위해 쿠버네티스 환경에서 메모리 제한을 강제하는 기술을 발표했습니다.

팩트쿠다 13.4 버전은 애플리케이션에 투명한 메모리 경계 강제 기능을 제공합니다.

팩트워크로드는 정확한 메모리 양을 할당받거나 보장된 최소치와 가변적인 최대치를 설정합니다.

팩트새로운 오픈소스 도구인 지피유 프랙셔닝 오퍼레이터는 케이에이아이 스케줄러 조직 하에 깃허브를 통해 공개됐습니다.

팩트이 오퍼레이터는 엔비디아 그래픽처리장치 오퍼레이터와 함께 작동하며 각 노드에서 다중 프로세스 서비스를 관리합니다.

주장쿠버네티스 클러스터는 자체적으로 쿠다의 메모리 강제 기능을 직접 제어할 수 없으므로 노드 수준에서 이를 관리할 별도의 오퍼레이터가 필수적입니다.

팩트지피유 프랙셔닝 오퍼레이터는 파드 컨테이너가 시작되기 전에 메모리 제한과 연산 모드를 적용합니다.

팩트케이에이아이 스케줄러 영점일팔점영 버전은 엔브이프랙션스 모드를 통해 지피유 프랙셔닝과 통합됐습니다.

팩트관리자는 헬름 플래그를 사용하여 이 기능을 활성화하며 사용자는 파드 어노테이션을 통해 메모리 요청량과 연산 모드를 명시합니다.

교차검증그래픽처리장치 공유 방식에는 시간 분할과 스트리밍 멀티프로세서 공유 모드가 존재합니다.

교차검증시간 분할은 오류 격리가 뛰어나지만 순차적으로 처리되는 반면 스트리밍 멀티프로세서 공유는 병렬 처리가 가능하여 효율적이지만 동일한 오류 도메인을 공유합니다.

팩트연산 모드는 컨테이너별로 명시적으로 설정할 수 있으며 사용자는 특정 어노테이션을 사용하여 모드를 선택합니다.

교차검증케이에이아이 스케줄러는 동일한 그래픽처리장치 내에서 서로 다른 연산 모드를 가진 워크로드를 혼합하지 않도록 설계됐습니다.

팩트메모리 요청은 절대적인 크기나 전체 용량 대비 비율로 설정할 수 있습니다.

팩트장치 어노테이션을 사용하여 여러 그래픽처리장치 장치에 걸쳐 분할된 자원을 할당받는 것도 가능합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/memory-enforced-gpu-sharing-in-kubernetes-with-nvidia-cuda-13-4/)의 보도를 교차 검증했습니다.