데이터브릭스, SQL 쿼리 태그 기능 도입

주장데이터브릭스는 SQL 쿼리에 비즈니스 맥락을 부여하는 쿼리 태그 기능을 도입했습니다. 이 기능은 쿼리 실행 시 키와 값의 쌍을 추가하여 데이터 웨어하우스의 작업 부하를 상세히 분석하도록 돕습니다.

팩트쿼리 태그는 현재 퍼블릭 프리뷰 단계로 제공됩니다. 사용자는 SQL 에디터와 노트북, 대시보드, 응용 프로그램 인터페이스 등 다양한 환경에서 쿼리에 태그를 부착합니다.

팩트데이터브릭스는 디비티(dbt)와 파워 비아이(Power BI), 태블로 등 파트너 도구와 연동하여 쿼리에 메타데이터를 자동으로 삽입합니다. 디비티의 경우 모델 이름과 버전, 어댑터 정보가 기록되어 성능 저하 원인을 즉시 파악합니다.

팩트커스텀 애플리케이션 개발자는 SQL 문 실행 인터페이스나 파이썬 커넥터를 활용합니다. 이들은 고객 식별자나 애플리케이션 이름, 버전 정보를 쿼리에 태그로 부착하여 익명의 인터페이스 쿼리를 추적 가능한 작업 단위로 변환합니다.

교차검증과거에는 쿼리 실행 시 사용자 식별자나 도구 정보만 기록되었습니다. 이로 인해 비용이 급증하거나 성능이 저하될 때 구체적인 대시보드나 프로젝트를 식별하기 어려웠습니다. 쿼리 태그는 이러한 가시성 부족 문제를 해결하는 보완책입니다.

팩트태그를 부착한 모든 쿼리는 시스템 테이블인 쿼리 히스토리에 기록됩니다. 데이터 분석가는 표준 SQL을 사용하거나 데이터브릭스 지니를 통해 자연어로 쿼리 데이터를 조회합니다.

주장쿼리 태그는 기업의 비용 관리 효율성을 높입니다. 특정 팀이나 프로젝트별로 비용을 할당해야 하는 조직은 웨어하우스를 물리적으로 분리하지 않아도 태그를 통해 비용을 정산합니다.

팩트데이터브릭스는 앞으로 쿼리 히스토리 사용자 인터페이스 내에서 태그 기반 검색 기능을 지원합니다. 또한 현재 SQL 웨어하우스에 국한된 기능을 서버리스 노트북과 작업 영역으로 확장할 계획입니다.

교차검증쿼리 태그 도입 초기에는 사용자가 직접 태그를 설정해야 하는 번거로움이 발생할 수 있습니다. 다만 파워 비아이와 같은 주요 도구는 자동 태그 기능을 기본값으로 설정하여 사용자 편의성을 높입니다.

주장이번 기능은 복잡한 데이터 환경에서 작업의 출처를 명확히 합니다. 이는 데이터 거버넌스를 강화하고 운영 효율을 극대화하는 전략적 도구가 됩니다.

주장데이터브릭스는 이번 업데이트를 통해 데이터 플랫폼의 가시성을 확보했습니다. 기업은 이를 통해 데이터 자산의 활용도를 높이고 최적화된 분석 환경을 구축합니다.

출처데이터브릭스 공식 블로그를 통해 해당 내용을 교차 검증했습니다. (https://www.databricks.com/blog/query-tags-context-your-warehouse-queries-have-been-missing)