데이터브릭스 레이크베이스의 클라우드 장애 대응 전략

주장에이전트 기반 워크로드는 기존 클라우드 인프라의 신뢰성 기준을 완전히 재정의합니다. 에이전트는 인간보다 4배 빠르게 데이터베이스를 생성하며 서버리스 및 자동 확장 인프라를 필수적으로 요구합니다.

팩트데이터브릭스의 레이크베이스 아키텍처는 현재 하루에 수천만 개의 데이터베이스를 생성합니다. 이는 에이전트가 인프라 구성 요소를 프로그래밍 방식으로 관리하면서 제어 평면 작업이 폭발적으로 증가했기 때문입니다.

교차검증클라우드 인프라의 용량은 무한하지 않습니다. 최근 컴퓨팅 및 그래픽 처리 장치(GPU) 자원 수요 급증으로 용량 부족 현상이 나타나며 플랫폼 구축자와 클라우드 제공업체 모두에게 신뢰성 유지가 도전 과제가 됩니다.

팩트레이크베이스는 상태 비저장(stateless) 포스트그레스 컴퓨팅 방식을 채택하여 장애 발생 시 즉각적인 인스턴스 교체를 지원합니다. 기존 모놀리식 구조와 달리 로컬 디스크에 데이터를 저장하지 않아 복구 시간을 획기적으로 단축합니다.

교차검증모놀리식 포스트그레스 설정은 일반적으로 로컬 블록 장치에 의존하며 영역 중복성이 부족합니다. 이를 보완하기 위해 고비용의 핫 스탠바이 복제본을 유지해야 하는 부담이 발생합니다.

팩트레이크베이스의 모든 데이터베이스는 계층이나 구성에 관계없이 분산된 영역 중복 스토리지로 보호됩니다. 데이터는 내구성이 뛰어난 객체 스토리지에 저장되며 비휘발성 메모리 익스프레스(NVMe) 솔리드 스테이트 드라이브(SSD) 캐시로 성능을 가속합니다.

주장에이전트 워크로드 환경에서 데이터베이스를 시작하는 제어 평면은 데이터 평면과 동일한 중요도를 갖습니다. 데이터브릭스는 이를 위해 제어 평면의 핵심 기능을 별도의 데이터 평면 컨트롤러 서비스로 분리합니다.

팩트데이터브릭스는 모든 릴리스 과정에서 프로세스, 노드, 가용 영역 수준의 오류를 주입하는 카오스 테스트를 수행합니다. 데이터베이스별 가용성을 월간 99.99% 목표로 추적하며 이를 투명하게 공개합니다.

교차검증클라우드 제공업체의 컴퓨팅 제어 평면이나 네트워크 제어 평면에 대한 의존도는 시스템 전체 신뢰성을 저해할 수 있습니다. 레이크베이스는 자체 가상화 계층을 구축하여 외부 의존성을 최소화합니다.

주장레이크베이스는 단일 지역 배포 방식에서 벗어나 지역을 자립적인 셀 단위로 구획화하여 장애 영향 범위를 제한합니다. 이는 특정 영역에서 발생하는 장애가 전체 시스템으로 확산하는 것을 방지하는 핵심 전략입니다.

팩트데이터브릭스는 이러한 아키텍처 설계를 통해 대규모 에이전트 환경에서도 안정적인 데이터베이스 운영을 보장합니다. 분산된 스토리지와 제어 평면 분리는 시스템의 회복 탄력성을 높이는 근간이 됩니다.

출처데이터브릭스 공식 블로그의 레이크베이스 아키텍처 신뢰성 관련 게시물을 교차 검증했습니다. (https://www.databricks.com/blog/how-lakebase-architecture-stays-resilient-cloud-failures)