아마존 퀵사이트 데이터셋 질의응답 기능 도입

주장아마존 퀵사이트는 데이터 분석 과정에서 발생하는 병목 현상을 해결하기 위해 데이터셋 질의응답 기능을 새롭게 도입했습니다. 기존에는 비즈니스 사용자가 대시보드에 없는 정보를 확인하려면 분석가에게 직접 요청해야 했으나, 이제는 자연어 질문만으로 즉시 결과를 얻을 수 있습니다.

팩트데이터셋 질의응답 기능은 사용자의 질문을 구조화 질의어인 에스큐엘(SQL)로 변환하여 전체 데이터셋을 대상으로 실행합니다. 이 과정에서 행 샘플링이나 사전 구성된 계산 필드 없이도 수 초 내에 정확한 결과를 반환합니다.

팩트퀵사이트는 기존에 대시보드 질의응답과 토픽 질의응답 기능을 제공해 왔습니다. 이번에 추가된 데이터셋 질의응답은 사전 설정된 범위를 넘어 모든 데이터셋을 직접 탐색할 수 있게 하여 기존 기능을 보완합니다.

주장기업용 비즈니스 인텔리전스 환경에서는 단순히 에스큐엘을 생성하는 것보다 비즈니스 언어의 모호성을 해결하는 작업이 중요합니다. 퀵사이트는 시맨틱 그래프를 활용해 질문의 의도를 파악하고 데이터 구조와 매핑하는 에이전트 시스템을 구축했습니다.

팩트시스템은 질문을 처리하기 전 데이터셋과 대시보드 등 모든 구조화된 자산을 검색하여 관련성을 파악합니다. 이를 통해 사용자가 정확한 컬럼명을 모르더라도 질문의 맥락을 이해하고 적절한 데이터를 찾아냅니다.

주장데이터셋 강화 기능을 통해 사용자는 별도의 토픽 설정 없이도 비즈니스 맥락을 시스템에 주입할 수 있습니다. 야믈(YAML)이나 제이슨(JSON) 형식으로 필드 설명과 비즈니스 규칙을 제공하면 시스템이 이를 자동으로 반영하여 분석 정확도를 높입니다.

팩트이번 업데이트에는 채팅 설명 가능성 기능이 포함되어 투명성을 확보했습니다. 사용자는 시스템이 생성한 에스큐엘과 추론 과정, 적용된 필터를 단계별로 확인할 수 있어 결과에 대한 신뢰를 높일 수 있습니다.

교차검증시스템이 생성한 에스큐엘과 답변은 세션마다 표현 방식이나 레이아웃이 다를 수 있습니다. 다만 동일한 데이터셋과 질문을 사용할 경우 데이터 값과 쿼리 결과는 일관되게 유지됩니다.

팩트데이터셋 질의응답 기능은 스파이스(SPICE) 데이터셋뿐만 아니라 아마존 레드쉬프트, 아테나, 오로라 포스트그레에스큐엘, 에스쓰리(S3) 테이블 등 직접 쿼리 방식에서도 모두 사용 가능합니다. 또한 기존에 설정된 행 수준 보안과 컬럼 수준 보안 정책이 자동으로 적용됩니다.

출처아마존 웹 서비스 공식 블로그(https://aws.amazon.com/blogs/machine-learning/introducing-dataset-qa-expanding-natural-language-querying-for-structured-datasets-in-amazon-quick/)를 통해 해당 기능을 교차 검증했습니다.