데이터브릭스, 카탈로그 커밋 정식 출시와 데이터 레이크하우스 통합

팩트데이터브릭스는 유니티 카탈로그(Unity Catalog) 관리 테이블을 위한 카탈로그 커밋(Catalog Commits) 기능을 정식 출시했습니다. 이번 업데이트는 다중 문장 및 다중 테이블 트랜잭션 기능을 새롭게 지원합니다.

팩트과거 델타 레이크(Delta Lake)는 파일 시스템 기반의 ACID(원자성, 일관성, 고립성, 지속성) 보장을 통해 데이터 레이크하우스를 구현했습니다. 데이터 규모가 증가하면서 저장소 계층과 카탈로그 계층의 분리로 인한 조정 문제가 발생했습니다.

교차검증기존 파일 시스템 중심 아키텍처는 외부 엔진이 저장소에 직접 쓰기 작업을 수행할 경우 카탈로그 메타데이터와 실제 테이블 상태가 일치하지 않는 스플릿 브레인(Split-brain) 문제를 야기했습니다. 이는 데이터 일관성을 저해하고 파이프라인 오류를 발생시키는 원인이 됩니다.

교차검증다중 엔진 환경에서 각 도구와 에이전트가 개별적으로 데이터에 접근하면 거버넌스 파편화가 발생합니다. 이로 인해 행이나 열 단위의 표준화된 권한 제어와 일관된 감사 기록 유지가 어렵다는 한계가 존재합니다.

팩트카탈로그 커밋은 델타 테이블이 카탈로그와 통합되는 오픈 표준입니다. 카탈로그가 테이블 접근을 조정하고 최신 상태를 추적함으로써 델타와 아이스버그(Iceberg) 모두 카탈로그 중심의 운영이 가능해졌습니다.

주장데이터브릭스는 카탈로그 커밋 기능을 통해 델타 레이크와 아이스버그의 카탈로그 중심 모델을 통합합니다. 이 기술은 데이터 레이크하우스의 조정 시스템으로서 테이블 발견과 접근, 상태 관리를 중앙화하는 역할을 수행합니다.

주장카탈로그 커밋을 활성화하면 유니티 카탈로그가 모든 테이블 접근을 중개하여 일관된 발견 및 권한 모델을 생성합니다. 이는 기업이 데이터 자산에 대한 거버넌스를 중앙 집중화할 수 있는 핵심 토대가 됩니다.

팩트이 기술은 다중 테이블 트랜잭션을 지원하여 데이터 웨어하우스 수준의 워크로드를 레이크하우스에서 수행할 수 있게 합니다. 판매와 재고 테이블을 원자적으로 업데이트하여 항상 일관된 데이터를 유지합니다.

팩트카탈로그 커밋은 리퀴드 클러스터링(Liquid Clustering)과 예측 최적화를 통해 데이터 레이아웃을 자동으로 최적화합니다. 엔진이 클라우드 저장소에서 메타데이터를 가져올 필요 없이 카탈로그에서 직접 정보를 얻어 성능 지연을 줄입니다.

출처해당 내용은 데이터브릭스 공식 블로그의 기술 발표(https://www.databricks.com/blog/convergence-open-table-formats-and-open-catalogs-catalog-commits-generally-available)를 교차 검증했습니다.