아마존 노바 멀티모달 임베딩 기반 제조 기술 문서 검색 효율화

주장제조 산업의 기술 문서는 텍스트와 시각 자료가 혼합된 형태가 많아 기존의 텍스트 기반 검색 시스템으로는 정보 추출에 한계가 있습니다. 아마존 노바 멀티모달 임베딩은 텍스트, 이미지, 문서 페이지를 공유 벡터 공간에 매핑하여 이러한 정보 격차를 해결합니다.

팩트아마존 노바 멀티모달 임베딩은 아마존 베드록을 통해 제공되며 256, 384, 1024, 3072 차원의 임베딩을 지원합니다. 이번 평가에서는 검색 품질과 비용의 균형을 고려하여 1024 차원을 사용했습니다.

교차검증기존의 텍스트 전용 검색 시스템은 광학 문자 인식(OCR)을 통해 텍스트를 추출하지만, 도면 내의 공간적 관계나 차트의 시각적 패턴을 이해하지 못합니다. 반면 멀티모달 모델은 이미지를 직접 처리하여 시각적 이해를 바탕으로 검색 결과를 도출합니다.

팩트이번 솔루션은 15개의 기술 이미지와 5개의 다중 페이지 PDF 문서를 포함한 합성 항공우주 제조 데이터를 사용하여 검증되었습니다. 멀티모달 파이프라인과 OCR 기반 텍스트 전용 파이프라인을 비교하여 검색 성능을 평가했습니다.

주장제조 현장에서 작업 지시서나 검사 보고서는 텍스트와 사진, 도표가 결합되어 있습니다. 이러한 문서를 효과적으로 활용하기 위해서는 텍스트뿐만 아니라 시각적 맥락을 동시에 이해하는 인공지능 모델이 필요합니다.

팩트모델은 문서 내 차트, 표, 주석이 달린 도면 등을 처리하기 위해 DOCUMENT_IMAGE 상세 수준 모드를 지원합니다. 또한 검색 효율을 높이기 위해 인덱싱용 GENERIC_INDEX와 쿼리용 GENERIC_RETRIEVAL 파라미터를 구분하여 사용합니다.

교차검증멀티모달 임베딩은 OCR이 텍스트를 잘못 읽거나 공간적 맥락을 제거하는 문제를 방지합니다. 텍스트 쿼리를 통해 터보 펌프 베어링과 같은 부품 정보를 단면도에서 직접 찾아내는 기능이 핵심입니다.

팩트솔루션 구현을 위해서는 아마존 베드록의 amazon.nova-2-multimodal-embeddings-v1:0 모델에 대한 접근 권한이 필요합니다. 또한 파이썬 환경에서 boto3, numpy, pandas 등 필수 라이브러리를 설치하여 API를 호출해야 합니다.

주장제조 기업은 방대한 기술 문서 저장소를 보유하고 있으나 필요한 정보를 즉각적으로 찾는 데 어려움을 겪고 있습니다. 멀티모달 검색 시스템을 도입하면 설계 검토나 품질 관리 과정에서 엔지니어의 업무 효율성을 높일 수 있습니다.

출처아마존 웹 서비스 공식 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/manufacturing-intelligence-with-amazon-nova-multimodal-embeddings/)를 교차 검증했습니다. 본 솔루션은 교육용으로 제공되며 실제 운영 환경 적용 전 보안 검토가 필요합니다.