데이터브릭스의 서버리스 컴퓨팅 아키텍처 혁신

주장데이터브릭스는 진정한 서버리스 컴퓨팅 구현을 위해 분산 시스템 운영 방식을 근본적으로 재설계했습니다. 사용자가 인프라를 직접 관리하지 않아도 시스템이 스스로 안정성과 성능을 최적화하도록 아키텍처를 혁신했습니다.

팩트데이터브릭스는 스파크 커넥트(Spark Connect), 서버리스 게이트웨이, 적응형 오토스케일러라는 세 가지 핵심 시스템을 도입했습니다. 이 기술들은 애플리케이션과 컴퓨팅 인프라를 분리하고 워크로드를 지능적으로 라우팅하며 자원을 동적으로 조정합니다.

팩트스파크 커넥트는 클라이언트-서버 아키텍처를 통해 사용자 애플리케이션과 스파크 드라이버를 분리합니다. 이 방식은 사용자의 코드가 시스템 전체의 안정성을 해치지 않도록 격리된 환경을 제공합니다.

교차검증전통적인 스파크 배포 방식은 애플리케이션과 컴퓨팅 자원이 밀접하게 결합되어 있어 자원 경쟁과 성능 저하가 빈번했습니다. 작은 비효율성이 시스템 전체의 장애로 이어지는 구조적 한계가 존재했습니다.

팩트데이터브릭스는 스파크 커넥트 아키텍처를 통해 연간 25회 이상의 주요 런타임 업그레이드를 수행합니다. 또한 20억 개 이상의 워크로드에서 99.998%의 성공률을 기록하며 안정성을 입증했습니다.

팩트서버리스 게이트웨이는 쿼리 크기, 현재 클러스터 활용도, 지연 시간 프로필 등 세 가지 실시간 신호를 분석하여 워크로드를 라우팅합니다. 이를 통해 대규모 작업과 소규모 작업을 효율적으로 분리하여 성능 저하를 방지합니다.

주장서버리스 오토스케일러는 정적인 규칙에 의존하던 기존 방식에서 벗어나 워크로드 패턴을 지속적으로 분석합니다. 이 기술은 비용과 성능 사이의 최적 균형점을 찾아내어 인프라 효율성을 극대화합니다.

팩트유니레버는 데이터브릭스 서버리스 도입 후 파이프라인 속도가 2~5배 향상되었으며 운영 비용은 25% 감소했습니다. HP는 클라우드 비용을 32% 이상 절감하고 전체 작업 시간을 36% 단축하는 성과를 거두었습니다.

교차검증분산 시스템에서 자원 활용도를 극대화하는 것과 성능 예측 가능성을 유지하는 것은 상충하는 목표입니다. 데이터브릭스는 워크로드 격리와 지능형 배치를 통해 이 두 가지 목표를 동시에 달성하고자 합니다.

출처데이터브릭스 공식 기술 블로그의 'Rethinking distributed systems: Serverless performance and reliability' 게시물을 교차 검증했습니다.