메르세데스-벤츠, 데이터브릭스 도입으로 클라우드 데이터 비용 66% 절감

주장메르세데스-벤츠는 하드웨어 중심에서 데이터 중심의 차량으로 전환하는 과정에서 데이터 공유 효율을 높이는 전략을 채택했습니다. 기존의 파일 전송 프로토콜이나 전자우편 방식은 보안과 효율성 측면에서 한계가 있어 중앙 집중식 데이터 공유 플랫폼 구축이 필요했습니다.

팩트메르세데스-벤츠는 아마존웹서비스(AWS)와 마이크로소프트 애저(Azure)라는 멀티 클라우드 환경을 운영합니다. 애저 환경의 사용자가 AWS에 저장된 애프터서비스 데이터에 원활하게 접근해야 하는 과제를 안고 있었으며, 이 과정에서 발생하는 데이터 전송 비용인 이그레스 비용이 큰 부담으로 작용했습니다.

팩트애프터서비스 관련 데이터는 약 60테라바이트 규모입니다. 해당 데이터는 차량 무선 업데이트 이벤트와 정비소 방문 기록 등을 포함하며, 연구 개발 및 보증 사례 분석에 필수적입니다.

교차검증과거에는 전체 데이터를 매주 한 번씩 복사하는 방식을 사용했습니다. 이는 데이터 최신성을 보장하지 못하고 비용 효율성도 낮았으며, 매일 전체 데이터를 복사하는 방식은 비용 문제로 실현이 불가능했습니다.

팩트메르세데스-벤츠는 데이터브릭스의 유니티 카탈로그와 델타 쉐어링을 결합해 클라우드 간 데이터 공유 체계를 구축했습니다. 유니티 카탈로그는 전사적 데이터 제품의 메타데이터를 중앙에서 관리하고 거버넌스를 통제하는 허브 역할을 수행합니다.

팩트델타 쉐어링은 AWS와 애저 간의 클라우드 경계를 넘어 데이터를 안전하게 교환하는 오픈 프로토콜로 활용됩니다. 이를 통해 서로 다른 클라우드 환경에서도 동일한 기술 스택을 사용하여 데이터 연동이 가능해졌습니다.

주장모든 데이터가 실시간 최신성을 요구하지는 않는다는 점에 착안하여 비용 효율성을 우선시하는 데이터셋에는 델타 딥 클론을 활용한 점진적 복제 방식을 도입했습니다. 이는 데이터 최신성과 비용 사이의 균형을 맞추는 전략적 선택입니다.

팩트델타 딥 클론을 활용한 주기적인 동기화 작업으로 데이터 일부만 증분 업데이트하여 전체 데이터를 매번 복사하는 비용을 66% 절감했습니다. 애저 환경의 사용자들은 복제된 데이터를 로컬에서 조회하여 클라우드 간 데이터 이동을 최소화합니다.

팩트데이터 관리의 자동화를 위해 데이터브릭스 에셋 번들을 활용하여 동기화 작업과 설정을 배포합니다. 또한 데이터 전송량을 추적하여 데이터 제품별 이그레스 비용을 계산하고 이를 데이터 생산 부서에 청구하는 비용 관리 체계도 마련했습니다.

교차검증유럽 개인정보보호 규정인 일반 개인정보보호법 준수를 위해 델타 레이크의 진공 기능을 활용합니다. 소스 측에서 삭제된 데이터가 복제본에도 즉각 반영되도록 설계하여 데이터 거버넌스와 규제 준수를 동시에 달성했습니다.

출처데이터브릭스 공식 블로그의 메르세데스-벤츠 사례 발표 내용을 교차 검증했습니다.