시각 인공지능 에이전트 비용 절감 기술 구현

주장엔비디아 메트로폴리스 비디오 스트림 세트 3.3(NVIDIA Metropolis Video Stream Set 3.3) 블루프린트는 비전 언어 모델과 대규모 언어 모델을 결합합니다. 영상 데이터를 자연어 검색, 질의응답, 자동 보고서 생성으로 전환하는 통합 프레임워크를 제공합니다. 복잡한 영상 분석 시스템 구축 과정을 단순화하여 개발 생산성을 높입니다.

팩트비디오 스트림 세트 3.3에 도입된 '빌드 비전 에이전트(Build Vision Agent)' 스킬은 단일 프롬프트를 통해 다중 워크플로우 배포를 자동화합니다. 병입 라인 시연에서 이 기술을 사용했을 때, 검색과 경고 검증 및 보고 기능을 포함한 시스템을 30분 이내에 배포했습니다.

팩트해당 시연은 2개의 그래픽 처리 장치(GPU)를 탑재한 아르티엑스 프로 6000 블랙웰(RTX PRO 6000 Blackwell) 호스트 환경에서 수행했습니다. 이 과정에서 탐지기의 그래픽 처리 장치 자원을 재사용하여 에프피에이트 코스모스 3 나노(FP8 Cosmos 3 Nano) 모델을 효율적으로 구동했습니다.

주장시각 인공지능 에이전트 운영의 주요 과제는 대규모 영상 데이터 처리 시 발생하는 높은 그래픽 처리 장치 사용량과 지연 시간입니다. 비디오 스트림 세트 3.3은 적응형 효율적 비디오 샘플링(Adaptive EVS) 기술을 통해 이러한 운영 비용 문제를 해결합니다.

팩트적응형 효율적 비디오 샘플링 기술은 프레임 내 변화가 없는 영역을 동적으로 제거하고 활동이 발생하는 순간에 맞춰 작업을 배치합니다. 이를 통해 아르티엑스 프로 6000 블랙웰 환경에서 경고 맥락화 지연 시간을 17% 단축하고, 실시간 비전 언어 모델 스트림 처리 능력을 46% 향상했습니다.

팩트60분 분량의 영상을 요약하는 작업에서 적응형 효율적 비디오 샘플링은 기존 대비 약 절반의 시간으로 처리를 완료했습니다. 또한 비전 언어 모델 입력 토큰 사용량을 80% 절감하여 연산 효율성을 개선했습니다.

교차검증적응형 효율적 비디오 샘플링의 성능 향상 폭은 영상 내 피사체의 움직임 정도, 청크 길이, 유사도 임계값 설정에 따라 달라집니다. 따라서 특정 현장 환경에서는 기대치보다 낮은 효율을 보일 가능성이 존재하므로 최적화 설정이 필요합니다.

팩트비디오 스트림 세트 3.3은 카프카(Kafka), 레디스(Redis), 엘라스틱서치(Elasticsearch)와 같은 공유 인프라를 단일 인스턴스로 통합하여 리소스 중복을 방지합니다. 개발자는 4가지 검증된 개발자 프로필 중 하나를 선택하여 필요한 서비스만 추가하는 방식으로 시스템을 구성합니다.

주장시각 인공지능 에이전트의 상용화는 단순한 개별 워크플로우의 구현을 넘어, 여러 기능이 유기적으로 결합된 시스템을 유지 관리하는 것이 핵심입니다. 비디오 스트림 세트 3.3은 개발, 운영, 변경이라는 세 가지 비용 동인을 최적화하여 기업의 생산성을 지원합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/lower-the-cost-of-building-and-running-visual-ai-agents-with-nvidia-vss-blueprint-3-3/)의 보도를 교차 검증했습니다.