데이터브릭스, 레이크베이스로 포스트그레스 브랜칭 기술 공개

주장데이터브릭스는 데이터베이스 브랜칭이 현대적인 개발 환경에서 필수적인 요소라고 강조합니다. 코드 관리에는 깃(Git)이, 인프라 구축에는 테라폼(Terraform)이 활용되지만, 관계형 데이터베이스는 여전히 과거의 운영 방식에 머물러 있어 개발 효율을 저해합니다.

팩트데이터브릭스 레이크베이스 포스트그레스(Postgres)는 복사 시 쓰기(Copy-on-Write) 기술을 사용하여 데이터를 실제로 복제하지 않고도 수 초 안에 격리된 환경을 생성합니다. 기존의 데이터베이스 덤프(pg_dump) 방식은 데이터 규모에 따라 수 분에서 수 시간이 걸리지만, 브랜칭은 데이터 크기와 관계없이 즉각적인 환경 구축을 지원합니다.

교차검증기존의 관리형 포스트그레스 서비스인 아마존 RDS(Relational Database Service)나 구글 알로이DB(AlloyDB)는 컴퓨팅과 저장소가 결합된 구조를 가집니다. 이 때문에 환경을 복제하려면 파일 시스템 전체를 복사해야 하는 물리적 한계가 존재합니다. 레이크베이스는 컴퓨팅과 저장소를 완전히 분리하고 저장소 계층에서 버전 관리를 수행하여 이러한 제약을 해결했습니다.

팩트브랜칭을 이용하면 저장소 비용은 전체 데이터가 아닌 변경된 데이터 양에 비례하여 발생합니다. 예를 들어 500기가바이트(GB) 규모의 데이터베이스에서 50메가바이트(MB)만 수정할 경우, 추가 저장소 비용은 50메가바이트에 대해서만 청구됩니다.

주장데이터베이스 브랜칭은 개발자마다, 혹은 풀 리퀘스트(PR)와 지속적 통합(CI) 테스트마다 독립적인 환경을 제공하여 공유 스테이징 데이터베이스의 병목 현상을 해결합니다. 개발자는 데이터베이스 수정에 대한 부담을 줄이고 더 빠르고 안전하게 반복 개발을 수행합니다.

팩트레이크베이스의 브랜치는 각각 독립적인 포스트그레스 연결 문자열과 컴퓨팅 엔드포인트를 가집니다. 사용하지 않는 브랜치는 자동으로 컴퓨팅 자원을 0으로 조정하여 비용을 절감하며, 필요할 때 즉시 재시작합니다.

교차검증일부 플랫폼은 스키마만 브랜칭하거나 전체 인스턴스를 복사하는 방식을 브랜칭이라고 정의합니다. 반면 레이크베이스는 스키마와 데이터를 모두 포함하면서도 저장소 계층에서 복제 없이 격리된 환경을 제공한다는 점에서 차별화됩니다.

팩트이 아키텍처는 특정 시점 복구(Point-in-time recovery)를 지원하여 과거 특정 시점으로 브랜치를 생성합니다. 사용자는 로그를 재생하거나 백업을 복원하는 복잡한 과정 없이 원하는 타임스탬프의 데이터를 즉시 읽습니다.

주장데이터베이스 브랜칭은 인공지능(AI) 에이전트와 자동화 도구에 활용 가능한 프로그래밍 방식의 일회성 데이터베이스를 제공합니다. 이는 고정된 환경을 유지하는 대신 깃 브랜치처럼 필요할 때 생성하고 폐기하는 유연한 운영 모델을 지향합니다.

출처데이터브릭스의 공식 블로그(https://www.databricks.com/blog/database-branching-postgres-git-style-workflows-databricks-lakebase)를 통해 해당 기술의 아키텍처와 운영 방식을 교차 검증했습니다.