데이터브릭스, 오픈소스 모델 프롬프트 캐싱 지원 및 추론 성능 강화

주장데이터브릭스는 프롬프트 캐싱 기술로 대규모 언어 모델의 추론 성능을 가속화합니다. 반복되는 프롬프트 접두사를 재사용하여 연산 낭비를 줄이고 처리량을 극대화합니다.

팩트데이터브릭스는 지피티오에스에스(GPT-OSS), 젬마 3(Gemma 3), 라마 3.1(Llama 3.1) 등 주요 오픈소스 모델에 이 기능을 적용했습니다. 해당 기술은 배치 추론, 토큰당 과금, 프로비저닝된 워크로드 등 모든 서비스 환경에서 작동합니다.

팩트지피티오에스 모델을 활용한 운영 환경에서 프롬프트 캐싱 적용 결과 처리량이 2.5배 증가했습니다. 피오십(P50) 지연 시간은 3배 감소하는 성과를 보였습니다.

교차검증프롬프트 캐싱은 캐시 적중률이 30퍼센트로 낮은 상황에서도 유의미한 성능 향상을 나타냈습니다. 캐시 적중률이 높을수록 시스템 효율성은 더욱 개선됩니다.

팩트데이터브릭스의 프롬프트 캐시는 휘발성 메모리에만 저장하며 영구적으로 보존하지 않습니다. 보안을 고려하여 캐시 데이터는 격리된 상태로 관리합니다.

주장프롬프트 캐싱은 모델 품질을 유지하면서 도메인 특화 시스템 프롬프트를 효율적으로 처리합니다. 기업은 복잡한 지시사항이 포함된 대규모 프롬프트 사용 시 발생하는 비용 부담을 줄입니다.

팩트사용자는 별도의 설정이나 구성 변경 없이 자동으로 프롬프트 캐싱 기능을 이용합니다. 데이터브릭스 시스템이 프롬프트 재사용을 감지하여 최적화된 추론을 수행합니다.

교차검증현재 프롬프트 캐싱은 특정 오픈소스 모델군에 한정합니다. 데이터브릭스는 앞으로 지원 모델 범위를 확대할 계획입니다.

주장이번 기술 도입은 인공지능 에이전트나 대규모 문서 처리와 같은 실시간 서비스의 경쟁력을 높입니다. 추론 파이프라인의 효율성을 높이는 작업은 기업의 인공지능 도입 비용을 낮추는 핵심 요소입니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/accelerating-llm-inference-prompt-caching-open-source-models-databricks)를 통해 해당 기술의 세부 사양과 성능 지표를 교차 검증했습니다.