데이터브릭스, AI 에이전트 시대 맞춘 3세대 데이터베이스 아키텍처 제시

주장데이터브릭스는 레이크베이스(Lakebase)를 통해 스토리지와 컴퓨팅을 완전히 분리하는 3세대 데이터베이스 아키텍처를 제시합니다. AI 에이전트가 소프트웨어 개발의 주체가 되면서 데이터베이스가 갖춰야 할 요구사항이 근본적으로 변화하고 있습니다.

팩트AI 에이전트 프레임워크는 요구사항 분석부터 코드 작성, 테스트, 배포 및 반복적인 개선까지 전 과정을 기록적인 속도로 수행합니다. 이로 인해 소프트웨어 개발 및 배포의 한계 비용이 급격히 하락하고 있습니다.

주장소프트웨어 개발은 기존의 느리고 선형적인 과정에서 신속한 진화형 과정으로 전환되고 있습니다. 에이전트는 수 분 내에 애플리케이션을 생성하고 수정하며 재배포할 수 있어, 개발 방식이 진화 알고리즘과 유사해졌습니다.

팩트데이터브릭스의 레이크베이스 운영 환경 데이터에 따르면, 각 데이터베이스 프로젝트는 평균 10개의 브랜치를 생성합니다. 일부 데이터베이스는 500회 이상의 반복적인 진화 과정을 거칩니다.

교차검증기존의 레거시 데이터베이스 인프라는 데이터베이스 상태를 빠르게 분기하거나 비용 효율적으로 관리할 수 있는 기능을 제공하지 못합니다. 이는 에이전트가 주도하는 신속한 실험적 개발 환경에 큰 걸림돌이 됩니다.

팩트레이크베이스는 스토리지 계층에서 메타데이터 복사본 생성(Copy-on-write) 방식을 사용하여 물리적 데이터 복사 없이 즉각적인 브랜칭을 지원합니다. 이를 통해 개발자는 데이터베이스 컴퓨팅 비용을 실험 기간 동안만 지불합니다.

주장에이전트가 생성한 서비스의 가치는 개별적으로는 낮아질 수 있으므로, 최소한의 한계 비용으로 운영 가능한 인프라가 필요합니다. 데이터브릭스 데이터에 따르면 에이전트가 생성한 애플리케이션의 절반은 데이터베이스 컴퓨팅 수명이 10초 미만입니다.

팩트레이크베이스는 서버리스 및 탄력적 구조를 통해 부하에 따라 초 단위로 컴퓨팅 자원을 자동으로 확장합니다. 사용하지 않을 때는 컴퓨팅 자원을 0으로 축소하여 유휴 비용을 완전히 제거합니다.

주장에이전트 개발 환경에서는 어떤 애플리케이션이 대규모 트래픽을 유발하는 프로덕션 시스템으로 성장할지 예측하기 어렵습니다. 따라서 작은 규모에서 시작해 대규모 트래픽까지 수동 재설정 없이 원활하게 확장되는 아키텍처가 필수적입니다.

팩트현재 데이터브릭스의 레이크베이스 서비스에서 AI 에이전트가 생성하는 데이터베이스의 수는 인간 사용자가 생성하는 수보다 4배 더 많습니다. 이는 에이전트 중심의 개발 모델이 이미 산업 현장에서 주류로 자리 잡고 있음을 보여줍니다.

주장오픈 소스 생태계는 에이전트의 신뢰성 있는 자동화를 위한 필수 요건입니다. 거대언어모델(LLM)은 공개된 소스 코드와 기술 문서를 학습하므로, 포스트그레스(Postgres)와 같은 오픈 소스 기반의 데이터베이스를 훨씬 더 안정적으로 다룹니다.

출처https://www.databricks.com/blog/how-agentic-software-development-will-change-databases