데이터브릭스, 유니티 카탈로그 외부 엔진 연동 확대

주장데이터브릭스는 유니티 카탈로그(Unity Catalog)의 개방형 API를 확장하여 데이터 사일로 현상을 해소합니다. 기업은 데이터를 복제하지 않고도 다양한 컴퓨팅 엔진을 활용하여 효율적인 분석 환경을 구축할 수 있습니다.

팩트유니티 카탈로그 관리형 델타 테이블(Delta Table)에 대한 외부 접근 기능이 현재 베타 버전으로 제공됩니다. 아파치 스파크(Apache Spark), 플링크(Flink), 덕DB(DuckDB)와 같은 외부 엔진에서 관리형 테이블을 생성하고 데이터를 읽거나 쓸 수 있습니다.

교차검증외부 엔진 연동 시 데이터 무결성을 유지하기 위해 카탈로그 커밋(Catalog Commit) 기능을 활용합니다. 이 기능은 직렬화된 커밋으로 로그 손상을 방지하며 모든 작업에 대한 감사 추적을 지원합니다.

팩트관리형 테이블은 예측 최적화 및 리퀴드 클러스터링(Liquid Clustering) 기술을 통해 데이터 레이아웃을 자동으로 조정합니다. 이러한 최적화 과정으로 쿼리 속도는 최대 20배 향상되고 스토리지 비용은 50% 절감됩니다.

주장자격 증명 자동 발급 기능이 정식 출시되면서 엔터프라이즈급 보안 환경이 강화되었습니다. 기업은 개인용 액세스 토큰 대신 머신 투 머신(Machine-to-Machine) 오스(OAuth)를 사용하여 보안 요구 사항을 충족합니다.

팩트자격 증명 자동 발급은 외부 엔진이 데이터에 접근할 때 단기적이고 범위가 제한된 자격 증명을 제공합니다. 파이프라인 실행 중 토큰이 만료되지 않도록 자동으로 갱신하는 기능도 포함합니다.

교차검증이번 업데이트는 구조화된 테이블뿐만 아니라 비정형 데이터인 볼륨(Volume)에도 적용됩니다. 이미지, PDF, 비디오 파일에 대해서도 유니티 카탈로그의 거버넌스 모델과 감사 추적 기능이 동일하게 작동합니다.

팩트델타 커널(Delta Kernel)은 자바(Java)와 러스트(Rust) 라이브러리를 통해 저수준 프로토콜 세부 사항을 추상화합니다. 커넥터 개발자는 복잡한 구현 과정 없이 유니티 카탈로그와의 통합에 집중할 수 있습니다.

주장데이터브릭스는 앞으로 속성 기반 접근 제어 기능을 강화하여 외부 읽기에 대한 세밀한 거버넌스를 구현합니다. 행과 열 수준의 정책을 외부 엔진에서도 동일하게 강제하여 보안 체계를 고도화할 계획입니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/expanded-interoperability-unity-catalog-open-apis)를 통해 해당 내용을 교차 검증했습니다.