데이터브릭스, 영상 데이터의 검색 가능한 정보 전환 기술 도입

주장데이터브릭스는 영상 분석을 단순한 시각적 확인이 아닌 데이터 엔지니어링 문제로 정의합니다. 인력 중심의 분석 방식에서 벗어나 자동화된 파이프라인으로 영상 데이터의 가치를 극대화합니다.

팩트데이터브릭스는 서버리스 그래픽 처리 장치(GPU) 컴퓨팅과 레이크플로우 파이프라인을 결합하여 영상 처리 과정을 자동화합니다. 사용자가 자연어로 검색어를 입력하면 메타의 세그먼트 애니씽 모델 3(SAM3)가 영상 프레임에서 관련 객체를 식별하고 필요한 구간만 추출합니다.

팩트영상 처리 효율성을 높이기 위해 26분 분량의 교통 카메라 영상을 1분 55초로 단축합니다. 원본 타임스탬프를 보존하여 검토자가 필요할 때 언제든 원본 영상으로 돌아가 확인할 수 있습니다.

팩트추출된 영상 클립은 데이터브릭스 파운데이션 모델 응용 프로그램 인터페이스(API)를 통해 인공지능이 요약한 텍스트 데이터로 변환됩니다. 이 데이터는 테이블에 저장되거나 후속 분석 프로세스로 전달되어 의사결정을 돕습니다.

교차검증비전 언어 모델(VLM)은 유연한 프롬프팅이 가능하지만 기존 객체 탐지 모델보다 크기가 크고 처리 속도가 느립니다. 데이터브릭스는 서버리스 GPU 컴퓨팅으로 이를 해결하여 인프라 관리 부담을 줄입니다.

주장데이터브릭스의 파이프라인은 특정 모델에 종속되지 않는 모델 애그노스틱 아키텍처를 지향합니다. 머신러닝 플로우(MLflow)를 활용하여 사용자가 원하는 모델을 자유롭게 교체하거나 도메인 특화 모델을 도입할 수 있습니다.

팩트허깅페이스에서 내려받은 모델이나 직접 훈련한 모델을 파이프라인에 즉시 적용합니다. SAM3 모델 외에도 욜로(YOLO)나 기타 트랜스포머 기반 비전 모델을 상황에 맞게 교체하여 사용합니다.

팩트서버리스 GPU 컴퓨팅은 엔비디아 GPU와 딥러닝 프레임워크에 최적화되어 별도의 환경 설정이 필요 없습니다. 사용자는 파이썬 패키지 버전이나 쿠다(CUDA) 호환성을 고민하지 않고 데이터 엔지니어링 코드 작성에 집중합니다.

주장영상 분석 파이프라인은 수동 실행뿐만 아니라 이벤트 기반의 자동화 프로세스로도 운영합니다. 영상 데이터가 볼륨에 저장되는 즉시 파이프라인이 작동하여 인간의 개입 없이 분석과 요약을 완료합니다.

팩트동시성 처리를 위해 20개의 영상을 동시에 입력하면 20개의 작업이 독립적으로 실행됩니다. 각 작업은 필요한 만큼 서버리스 GPU 자원을 할당받고 작업이 끝나면 자원을 반환하여 비용 효율성을 높입니다.

주장이러한 자동화 기술은 방대한 영상 데이터를 실시간으로 처리해야 하는 물류, 보안, 제조 분야의 데이터 활용도를 높일 것으로 전망합니다. 기업은 영상 속 숨겨진 정보를 즉각적으로 파악하여 비즈니스 전략에 반영할 수 있습니다.

출처해당 내용은 데이터브릭스 공식 블로그(https://www.databricks.com/blog/how-databricks-turning-video-searchable-actionable-intelligence)를 교차 검증했습니다.