아마존 퀵의 에이전트 카탈로그 경험 도입

주장아마존 퀵은 기업이 보유한 데이터 카탈로그의 의미론적 정보를 인공지능 분석에 직접 활용해야 한다고 강조합니다. 데이터 카탈로그에 정의된 테이블 설명과 관계 정보가 인공지능 제품으로 원활하게 연동되어야 신뢰할 수 있는 분석 결과를 얻을 수 있습니다.

팩트아마존 퀵은 아마존 웹 서비스 글루, 데이터브릭스 유니티 카탈로그, 스노우플레이크 호라이즌 등 주요 데이터 카탈로그 플랫폼과 연동됩니다. 기업은 이들 플랫폼에 테이블 정의와 열 의미, 기본키 및 외래키 관계를 상세히 기록합니다.

교차검증기존 방식에서는 데이터 관리자가 수천 개의 테이블 중에서 필요한 자산을 직접 찾아야 하는 어려움이 존재합니다. 상위 카탈로그의 정의가 변경될 때마다 퀵 데이터셋의 메타데이터를 수동으로 수정해야 하는 비효율도 발생합니다.

주장이번에 발표된 에이전트 카탈로그 경험은 데이터 관리자가 수동으로 메타데이터를 재입력하는 과정을 제거합니다. 퀵 에이전트는 자연어 대화를 통해 필요한 데이터를 찾고 상위 카탈로그의 정보를 자동으로 상속받아 데이터셋을 생성합니다.

팩트퀵 에이전트는 자연어 검색으로 비즈니스 설명과 태그, 품질 점수를 기반으로 가장 적합한 테이블을 즉시 찾아냅니다. 관리자는 복잡한 탐색 과정 없이 대화형 인터페이스로 필요한 자산을 식별합니다.

팩트생성된 데이터셋은 기본적으로 다이렉트 쿼리 방식을 사용하며 상속된 메타데이터는 읽기 전용으로 관리됩니다. 데이터 관리자는 동기화 버튼을 눌러 상위 카탈로그의 최신 정의를 반영합니다.

주장이번 기능은 데이터 분석의 마지막 단계인 라스트 마일 문제를 해결하는 데 집중합니다. 데이터 카탈로그의 풍부한 맥락을 인공지능이 이해할 수 있는 형태로 변환하여 사용자가 신뢰할 수 있는 답변을 제공합니다.

팩트퀵 에이전트는 테이블과 열의 정의를 데이터셋으로 상속합니다. 또한 기본키와 외래키 관계를 감지하여 스타 스키마 조인이 구성된 토픽을 자동으로 생성합니다.

주장이러한 자동화 기능은 데이터셋 간의 관계를 수동으로 설정해야 하는 번거로움을 크게 줄여줍니다. 분석가는 데이터 구조를 직접 설계하는 대신 데이터 활용이라는 본연의 업무에 집중할 수 있습니다.

교차검증현재 메타데이터 상속은 테이블 및 열 정의에 집중되어 있습니다. 아마존은 향후 더 다양한 메타데이터 유형으로 범위를 확대할 계획입니다.

교차검증모든 메타데이터가 발견 단계에서는 활용되지만 데이터셋 생성 시에는 노이즈를 방지하기 위해 선별적으로 상속됩니다. 이는 분석의 정확도를 높이기 위한 조치입니다.

출처아마존 웹 서비스 공식 블로그를 통해 해당 내용을 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/announcing-the-agentic-catalog-experience-in-amazon-quick/)