데이터브릭스 레이크베이스의 포스트그레스 쓰기 성능 5배 향상

주장데이터브릭스의 레이크베이스 아키텍처는 포스트그레스의 고질적인 병목 현상인 쓰기 성능 문제를 해결합니다. 컴퓨팅과 스토리지를 분리하여 전통적인 모놀리식 구조에서 불가능했던 성능 최적화를 달성했습니다.

팩트레이크베이스 아키텍처 도입 결과, 쓰기 처리량은 최대 5배까지 증가했습니다. 32 vCPU 환경에서 4.5배 이상의 성능 향상을 확인했으며, WAL 트래픽은 94% 감소했습니다.

팩트기존 포스트그레스는 데이터 손상을 방지하기 위해 전체 페이지 쓰기(FPW) 방식을 사용합니다. 이 방식은 체크포인트 이후 첫 변경 시 8KB 페이지 전체를 로그에 기록하며, 이로 인해 로그 용량이 최대 15배까지 팽창합니다.

교차검증FPW를 단순히 비활성화하면 읽기 성능에 문제가 생깁니다. 로그에 전체 페이지 이미지가 없으면 스토리지 계층이 읽기 요청을 처리할 때 무한히 긴 델타 체인을 재구성해야 하므로 읽기 지연 시간이 급증할 위험이 있습니다.

주장데이터브릭스는 이미지 생성 작업을 컴퓨팅 노드에서 스토리지 계층으로 이전하는 이미지 생성 푸시다운 기술을 도입했습니다. 이를 통해 컴퓨팅 노드의 부하를 줄이면서 읽기 성능을 최적화하는 균형을 맞췄습니다.

팩트스토리지 계층의 페이지 서버는 델타 레코드가 설정된 임계치를 초과할 때만 전체 페이지 이미지를 생성합니다. 이는 포스트그레스의 체크포인트 주기와 무관하게 실제 데이터 변경량에 기반하여 작동하므로 효율적입니다.

팩트벤치마크 결과, 32 vCPU 환경에서 초당 신규 주문 처리량(NOPM)은 기존 9만5686에서 43만9300으로 4.5배 이상 증가했습니다. 트랜잭션당 WAL 생성량은 58Kb에서 4Kb 미만으로 94% 감소했습니다.

팩트실제 운영 환경에서도 유의미한 성과를 보였습니다. 56 vCPU 프로젝트에서 WAL 생성량은 초당 30MB에서 1MB로 감소했으며, p99 읽기 지연 시간은 30%에서 50%까지 개선되었습니다.

교차검증이러한 성능 향상은 데이터베이스 쓰기 경로에서 발생하는 병목을 제거함으로써 가능했습니다. 결과적으로 컴퓨팅 자원이 증가함에 따라 처리량이 선형적으로 확장되는 구조를 갖추게 되었습니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/how-lakebase-architecture-delivers-5x-faster-postgres-writes)를 통해 해당 내용을 교차 검증했습니다.