잘란도, 데이터브릭스 기반 통합 데이터 플랫폼 구축

주장잘란도는 데이터 거버넌스와 분석 효율을 높이고자 데이터브릭스 플랫폼을 기반으로 통합 데이터 기반을 구축했습니다. 이는 파편화된 비즈니스 로직을 중앙화하고 데이터 신뢰성을 확보하기 위한 전략적 선택입니다.

팩트잘란도는 유럽 전역에서 5천만 명 이상의 활성 고객과 7천 개 이상의 브랜드 및 파트너를 연결하는 대규모 디지털 생태계를 운영합니다. 매일 발생하는 방대한 고객 상호작용 데이터는 개인화 추천과 물류 최적화 등 의사결정의 핵심 자산입니다.

교차검증마이크로서비스 아키텍처를 통한 급격한 성장은 데이터 거버넌스 복잡화라는 부작용을 낳았습니다. 부서별 데이터 소유권 분산은 팀의 자율성을 보장하지만, 지표 정의가 일치하지 않는 위험을 초래했습니다.

팩트잘란도는 데이터브릭스 유니티 카탈로그를 도입해 리소스 중심 접근 제어에서 신원 기반 거버넌스로 전환했습니다. 이를 통해 수천 개 리소스에 흩어진 권한 관리 문제를 해결하고 재사용 가능한 정책으로 일관된 보안을 유지합니다.

주장잘란도는 데이터 생성과 소비를 엄격히 분리하는 이중 카탈로그 패턴을 설계해 민첩성과 통제력을 동시에 확보했습니다. 도메인 팀은 사설 카탈로그에서 자유롭게 데이터를 생성하고, 전사 공유가 필요한 데이터만 중앙 공유 카탈로그로 노출합니다.

팩트중앙 공유 카탈로그의 모든 데이터는 동적 뷰를 통해서만 접근하도록 설계했습니다. 이를 통해 유럽 개인정보보호법인 지디피알 준수와 같은 복잡한 규정 적용이 가능하며, 민감 데이터에 대한 접근 권한을 중앙에서 감사합니다.

주장잘란도는 깃옵스 방식을 활용해 데이터 공유 워크플로우를 자동화했습니다. 팀이 데이터를 공유할 때 티켓을 발행하는 대신 풀 리퀘스트를 제출하면, 플랫폼 서비스가 자동으로 동적 뷰를 생성하고 컬럼을 분류합니다.

팩트잘란도는 메트릭 뷰를 사용해 비즈니스 로직을 코드화하고 중앙화하는 의미론적 계층을 구축했습니다. 기존 비즈니스 인텔리전스 도구와 에스큐엘 스크립트에 파편화된 지표 정의를 하나로 통합해 데이터 과학자와 인공지능 봇이 동일한 기준의 데이터를 사용합니다.

팩트잘란도는 지니라는 생성형 인공지능 인터페이스를 도입해 사용자가 에스큐엘 전문 지식 없이도 자연어로 데이터를 질의하도록 했습니다. 이는 데이터 분석의 문턱을 낮추고 의사결정 속도를 향상합니다.

출처잘란도의 데이터브릭스 기반 통합 데이터 플랫폼 구축 사례를 데이터브릭스 공식 블로그를 통해 교차 검증했습니다.