데이터브릭스, 검색 속도 3배 개선한 모델 발표

주장데이터브릭스는 병렬 테스트 타임 스케일링 기술을 적용해 검색 성능과 속도를 동시에 개선했습니다. 기존의 순차적 에이전트 방식에서 벗어나 병렬 처리 방식을 도입함으로써 응답 품질을 유지하면서 효율성을 높였습니다.

팩트데이터브릭스의 지식 어시스턴트 업데이트로 답변 생성 시간은 2배, 검색 시간은 3배 이상 줄었습니다. 첫 토큰 생성 시간은 약 2초 수준으로 개선되었습니다.

팩트이번 성능 향상의 핵심은 인스트럭티드 리트리버-1 모델입니다. 이 모델은 쿼리 생성과 재순위화 단계를 병렬로 수행해 지연 시간을 최소화합니다.

교차검증기존 에이전트 검색 시스템은 도구 호출과 사고 과정을 순차적으로 처리해 품질은 높지만 지연 시간과 비용이 증가하는 한계가 있었습니다. 데이터브릭스는 이러한 순차적 연산의 단점을 병렬화로 극복했습니다.

팩트인스트럭티드 리트리버-1 모델은 칼벤치 평가에서 클로드 소넷 4.5와 대등한 검색 품질을 보였습니다. 특히 다중 피벗 그룹화 재순위화 방식을 통해 검색 정밀도를 높였습니다.

주장기업 환경에서는 도메인별 제약 조건이 중요하므로 검색 모델의 훈련 방식이 핵심입니다. 데이터브릭스는 사용자 지침과 인덱스 스키마를 모든 검색 단계에 전파해 기업용 데이터에 최적화된 검색을 구현했습니다.

팩트모델 훈련을 위해 데이터브릭스는 합성 기업형 검색 환경을 구축했습니다. 이 환경은 사실 확인, 요약, 추천, 문제 해결 등 지식 어시스턴트가 실제 업무에서 처리하는 다양한 작업을 포함합니다.

교차검증검색 품질 향상은 실제 워크로드에서 검증되어야 의미가 있습니다. 데이터브릭스는 내부 대규모 데이터셋을 활용해 쿼리 생성의 구체성, 폭, 관련성을 평가하고 재순위화 성능을 측정했습니다.

팩트재순위화 성능 평가에서 인스트럭티드 리트리버-1은 엔디시지@10 지표 기준 81.0점을 기록했습니다. 이는 재순위화가 없는 환경 대비 14.1% 향상된 수치이며 클로드 소넷 4.5의 80.1점보다 높은 결과입니다.

팩트모델의 효율적인 운영을 위해 혼합 전문가 아키텍처와 FP8 양자화 기술을 적용했습니다. 이를 통해 품질 저하 없이 추론 속도와 처리량을 개선해 실무 환경에 적합한 성능을 확보했습니다.

주장데이터브릭스는 이번 기술 도입을 통해 기업용 인공지능 서비스의 실질적인 운영 효율을 한 단계 끌어올렸습니다. 앞으로도 복잡한 기업 데이터를 정교하게 처리하는 모델 고도화에 집중할 예정입니다.

출처데이터브릭스 공식 블로그를 통해 해당 기술의 성능 지표와 모델 구조를 교차 검증했습니다. (https://www.databricks.com/blog/3x-faster-search-parallel-test-time-scaling-instructed-retriever-1)