아마존 노바 멀티모달 임베딩 활용 영상 검색 기술 도입

주장영상 검색은 현대 산업에서 새로운 가치를 창출하는 핵심 기술입니다. 방송 제작과 뉴스 조직은 방대한 영상 아카이브에서 특정 장면을 즉시 찾아내어 콘텐츠를 수익화해야 하는 과제를 안고 있습니다.

팩트영상은 시각적 장면과 오디오, 대화, 시간 정보가 결합된 복잡한 비정형 데이터입니다. 기존 방식은 영상을 텍스트로 변환하여 검색하지만, 이 과정에서 시간적 맥락이 사라지고 변환 오류가 발생합니다.

팩트아마존 노바 멀티모달 임베딩은 텍스트와 문서, 이미지, 영상, 오디오를 하나의 공유 의미 벡터 공간으로 매핑하는 통합 모델입니다. 이 모델은 영상의 모든 신호를 직접 처리하여 정보 손실 없이 높은 검색 정확도와 비용 효율성을 제공합니다.

주장효과적인 검색을 위해서는 의미론적 검색과 키워드 기반의 어휘 검색을 결합한 하이브리드 아키텍처가 필요합니다. 이는 사용자의 의도를 지능적으로 이해하고 다양한 신호 유형에 걸쳐 정확한 결과를 도출합니다.

팩트솔루션 아키텍처는 영상 업로드와 샷 분할, 병렬 처리, 인덱싱 과정을 거칩니다. 아마존 S3에 저장된 영상은 아마존 웹 서비스 람다와 스텝 펑션을 통해 처리되며, 아마존 노바 멀티모달 임베딩이 1024차원 벡터를 생성합니다.

교차검증영상 분할 방식은 검색 정확도에 직접적인 영향을 미칩니다. 너무 짧은 세그먼트는 주변 맥락을 잃게 만들고, 너무 긴 세그먼트는 여러 주제를 혼합하여 관련성을 떨어뜨릴 위험이 있습니다.

팩트영상 분할의 최적화를 위해 에프에프엠펙(FFmpeg)의 장면 감지 기능을 활용합니다. 이는 영상의 시각적 변화 지점을 찾아내어 의미적으로 일관된 단위로 영상을 나누며, 5초에서 15초 사이의 세그먼트를 생성합니다.

팩트검색 파이프라인에서는 아마존 베드록의 클로드 하이쿠 모델이 사용자 의도를 분석하여 시각과 오디오, 텍스트 등 각 모달리티에 가중치를 부여합니다. 이후 노바 멀티모달 임베딩이 쿼리를 임베딩하여 유사도 검색을 수행합니다.

주장이 아키텍처는 시간적 맥락 유지와 멀티모달 쿼리 처리, 대규모 콘텐츠 확장성, 검색 정확도 최적화라는 네 가지 핵심 설계 결정을 해결합니다. 이는 기업이 방대한 영상 라이브러리를 효율적으로 관리하고 활용할 수 있는 기반이 됩니다.

출처아마존 웹 서비스의 머신러닝 블로그를 통해 해당 기술의 상세 사양과 아키텍처를 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/power-video-semantic-search-with-amazon-nova-multimodal-embeddings/)