데이터브릭스의 모델 유닛 기반 대규모 LLM 추론 플랫폼 전략

주장데이터브릭스는 대규모 거대언어모델(LLM) 추론 환경에서 안정성을 확보하기 위해 모델 유닛이라는 추상화 개념을 도입했습니다. 이 개념은 가상 머신과 유사한 방식으로 그래픽처리장치(GPU) 자원을 고객별로 할당하고 라우팅하며 확장할 수 있게 합니다.

팩트데이터브릭스는 모델 유닛 기반의 비용 인식 부하 분산과 자동 확장을 통해 정적 프로비저닝 대비 GPU 비용을 80% 이상 절감했습니다. 또한 지연 시간 목표를 유지하면서도 처리량을 3배 이상 향상하는 성과를 거두었습니다.

팩트데이터브릭스는 현재 매달 120조 개 이상의 토큰을 처리합니다. 이 플랫폼은 키미(Qwen), 큐웬(Qwen)과 같은 오픈 소스 모델부터 오픈에이아이(OpenAI), 제미나이(Gemini), 클로드(Claude) 등 독점 모델까지 다양한 모델을 지원합니다.

교차검증거대언어모델 추론은 일반적인 중앙처리장치(CPU) 시스템보다 하드웨어 신뢰성이 낮고 비용이 매우 높습니다. 특히 고대역폭 인터커넥트가 필요한 최신 GPU 환경에서는 단일 노드의 장애가 전체 랙의 장애로 이어질 위험이 큽니다.

주장대규모 추론 플랫폼의 핵심은 가용성과 지연 시간의 균형을 맞추는 일입니다. 특히 에이전트 기반 애플리케이션은 첫 토큰 생성 시간과 초당 출력 토큰 수에 민감하여 엄격한 성능 관리가 필요합니다.

팩트데이터브릭스는 다이서(Dice)라는 자동 샤딩 기술을 사용하여 워크로드를 서버에 동적으로 라우팅합니다. 이 기술은 전통적인 요청 기반 방식이 아닌 모델 유닛 단위의 서버 부하를 기준으로 라우팅 결정을 내립니다.

교차검증다이서의 상태 유지 세션 기능은 특정 워크로드의 요청을 동일한 서버 그룹으로 전달합니다. 이는 캐시 적중률을 높여 지연 시간에 민감한 코딩 에이전트 등의 성능을 개선하고 장애 범위를 제한합니다.

팩트데이터브릭스의 추론 플랫폼은 슈퍼휴먼(Superhuman), 이핏 데이터(Efit Data), 폭스 스포츠(Fox Sports) 등 대규모 에이전트 애플리케이션을 지원합니다. 이들은 업무 시간 중 급격하게 변하는 수요 곡선에 대응해야 하는 환경에서 운영됩니다.

주장추론 시스템은 복잡한 다차원 함수를 통해 요청 비용을 산정해야 합니다. 입력과 출력의 길이에 따라 소모되는 모델 유닛이 다르며, 이를 통해 예측 가능한 성능을 고객에게 보장합니다.

주장데이터브릭스는 모델 유닛을 활용하여 자원 할당의 유연성을 극대화합니다. 이러한 전략은 기업이 복잡한 인프라 관리 부담을 줄이고 모델 성능 최적화에 집중하게 돕습니다.

주장추론 플랫폼의 효율적인 자원 운용은 인공지능 서비스의 지속 가능성을 결정합니다. 데이터브릭스의 모델 유닛 전략은 향후 대규모 모델 운영의 표준으로 자리 잡을 가능성이 큽니다.

출처데이터브릭스의 공식 블로그(https://www.databricks.com/blog/reliable-llm-inference-scale)를 교차 검증했습니다.