데이터브릭스, AI 모델 서빙 플랫폼 공개

주장데이터브릭스는 모델의 종류와 관계없이 리소스를 자동으로 최적화하는 완전 관리형 인공지능(AI) 서빙 플랫폼을 제공합니다. 기업은 이 플랫폼을 통해 모델 배포 과정에서 발생하는 복잡한 수동 설정 부담을 줄이고 운영 효율성을 높입니다.

팩트해당 플랫폼은 2메가바이트(MB) 크기의 소형 모델부터 700억 개(70B) 파라미터를 가진 대형 언어 모델까지 폭넓게 지원합니다. 시스템은 초당 30만 건 이상의 요청(QPS)을 처리하며 10밀리초(ms) 미만의 p99 지연 시간을 유지합니다.

교차검증기존의 전통적인 플랫폼은 복잡한 설정을 사용자에게 요구하여 엔지니어의 업무 부담을 가중했습니다. 데이터브릭스는 이러한 수동 조정 과정을 '엠엘(ML) 스택 세금'으로 정의하고 이를 제거하는 것을 기술 개발의 핵심 목표로 삼습니다.

팩트플랫폼은 엠엘플로우(MLflow)로 패키징한 모든 모델을 지원하며 배포 시 단 한 번의 클릭으로 환경을 동기화합니다. 유니티 카탈로그(Unity Catalog)와 연동하여 모든 추론 요청에 관한 로그와 추적 데이터를 자동으로 생성합니다.

주장모델 서빙의 핵심은 지연 시간 단축, 확장성 확보, 비용 효율성 유지라는 세 가지 상충하는 목표를 동시에 달성하는 일입니다. 데이터브릭스는 이를 위해 자동화된 런타임 선택 기능과 지능형 오토스케일러를 도입했습니다.

팩트각 서빙 엔드포인트는 독립된 쿠버네티스(Kubernetes) 환경에서 실행되어 보안과 안정성을 보장합니다. 요청 경로는 최소화했으며 관측 가능성을 확보하기 위해 사이드카가 실시간으로 메트릭을 수집합니다.

팩트플랫폼 내부에는 오토파일럿 파드 오토스케일러(APA)가 탑재되어 있습니다. 이 시스템은 로드 밸런서와 파드에서 실시간 데이터를 수집하여 모델별 리소스 요구사항을 스스로 학습합니다.

교차검증기존의 리소스 기반 오토스케일링은 트래픽 변화에 대응하는 속도가 느려 지연 시간 문제가 발생할 위험이 있습니다. 에이피에이(APA)는 요청 기반 스케일링과 리소스 기반 스케일링을 결합하여 기존 방식의 단점을 보완합니다.

주장데이터브릭스의 통합 플랫폼은 데이터, 학습, 서빙, 에이전트 운영을 하나의 거버넌스 체계 안에서 관리합니다. 이는 파편화된 시스템을 개별적으로 연결하는 방식보다 높은 운영 가시성을 제공합니다.

팩트데이터브릭스는 플랫폼 내부에 데이터와 모델을 통합 관리하는 체계를 구축하여 운영자가 전체 파이프라인을 한눈에 파악하도록 지원합니다. 이러한 통합 환경은 복잡한 데이터 인프라를 단순화하는 효과를 냅니다.

주장인공지능 모델의 성능을 극대화하려면 인프라의 유연한 대응이 필수적입니다. 데이터브릭스는 자동화된 리소스 관리를 통해 기업이 기술적 장벽 없이 모델을 배포하도록 돕습니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/ai-serving-platform-adapts-your-model)를 통해 해당 기술의 아키텍처와 성능 지표를 교차 검증했습니다.