멀티모달 모델 서빙 가속을 위한 인코드-프리필-디코드 분리 기술

주장엔비디아 다이나모는 인코드-프리필-디코드 분리 기술을 통해 멀티모달 모델의 추론 성능을 최적화합니다. 비전 인코딩 단계를 거대 언어 모델의 프리필 및 디코드 단계와 분리하여 자원 활용 효율을 높이고 병목 현상을 제거합니다.

팩트인코드-프리필-디코드 분리 기술을 적용할 경우, 이미지 중심 프롬프트에서 첫 토큰 생성 시간은 최대 5배, 전체 응답 시간은 최대 7배까지 단축됩니다.

팩트혼합된 텍스트 및 멀티모달 트래픽 환경에서 해당 기술은 텍스트 요청의 평균 첫 토큰 생성 시간을 42.2퍼센트, 이미지 요청의 평균 첫 토큰 생성 시간을 30.8퍼센트 개선합니다. 이는 헤드 오브 라인 블로킹 현상을 제거하여 전체적인 시스템 처리량을 높인 결과입니다.

주장인코더 배치 방식은 세 가지로 나뉘며, 하드웨어 구성에 따라 최적의 방식을 선택해야 합니다. 통합 서빙, 동일 그래픽 처리 장치 내 인코더 배치, 그리고 별도의 저비용 그래픽 처리 장치 계층을 사용하는 분리형 배치가 존재합니다.

팩트동일한 그래픽 처리 장치 내에 인코더를 배치하는 방식은 균일한 클러스터 환경에서 효율적입니다. 비전 인코더는 거대 언어 모델에 비해 상대적으로 가벼운 연산을 수행하므로, 고성능 그래픽 처리 장치를 독점하지 않고 자원을 공유하는 것이 경제적입니다.

팩트분리형 인코더 배치는 클러스터에 저비용 그래픽 처리 장치 계층이 포함되어 있을 때 유리합니다. 엔비디아의 테스트 결과, 알티엑스 6000디 그래픽 처리 장치를 인코더로, 지비200 그래픽 처리 장치를 프리필·디코드 워커로 분리했을 때 고성능 자원의 효율적인 활용이 가능했습니다.

교차검증인코드-프리필-디코드 분리 기술의 이점은 입력 미디어의 부하, 출력 시퀀스 길이, 모델 크기 및 정밀도에 따라 달라집니다. 디코드 단계가 전체 지연 시간을 지배하거나 대형 밀집 모델을 사용하여 인코더의 연산 비중이 낮아질 경우 성능 향상 폭은 줄어들 수 있습니다.

팩트거대 언어 모델 가중치를 엔브이피에프4로 양자화하고 비전 인코더를 비에프16으로 유지할 경우, 동일 그래픽 처리 장치 내 인코드-프리필-디코드 배치 방식의 처리량은 통합 서빙 대비 1.78배에서 2.64배까지 증가합니다. 이는 모델 최적화와 아키텍처 분리가 결합될 때 시너지가 극대화됨을 보여줍니다.

주장다이나모 프레임워크는 엔비디아 추론 전송 라이브러리를 통해 인코더와 프리필·디코드 워커 간의 임베딩 데이터를 효율적으로 전달합니다. 이를 통해 각 단계가 독립적으로 확장 및 스케줄링될 수 있는 유연한 환경을 제공합니다.

팩트앞으로 성능 개선을 위해 병렬 미디어 디코딩을 활성화하여 다운로드 및 디코드 작업을 프론트엔드로 이동시킬 수 있습니다. 또한 임베딩 캐시를 활용해 반복되는 미디어 콘텐츠의 연산 결과를 재사용함으로써 추가적인 속도 향상을 기대할 수 있습니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/when-to-use-encode-prefill-decode-disaggregation-to-accelerate-multimodal-model-serving/)의 보도를 교차 검증했습니다.