데이터브릭스, 10만 개 라벨 분류 효율화 솔루션 공개

주장데이터브릭스는 10만 개 이상의 대규모 라벨을 분류할 때 발생하는 비용과 유지보수 문제를 해결하고자 새로운 하이브리드 접근 방식을 제안합니다. 기존의 정규식이나 단순 거대언어모델(LLM) 호출 방식은 비용 효율성과 컨텍스트 제한 문제로 인해 대규모 데이터 처리에 한계가 있습니다.

팩트데이터브릭스가 제시한 솔루션은 벡터 검색으로 후보 라벨을 짧은 목록으로 추린 뒤, 인공지능(AI) 분류 함수가 최종 라벨을 선택하는 2단계 워크플로우입니다. 이 방식은 기존 최상위 모델 대비 비용은 약 100분의 1 수준이며, 정확도는 5퍼센트포인트 더 높습니다.

팩트해당 기술은 생물의학 엔티티 연결, 금융권 가맹점 정규화, 기업 데이터 중복 제거 등에 활용됩니다. 특히 금융권은 수십만 개의 거래 문자열을 10만 개 이상의 가맹점 데이터와 매칭하여 지출 패턴을 분석합니다.

교차검증기존 정규식이나 키워드 매칭 방식은 데이터 형식이 조금만 바뀌어도 작동하지 않는 취약점이 있습니다. 수천 개의 라벨을 관리하는 기업은 라벨이 추가되거나 변경될 때마다 규칙을 수정해야 하는 어려움을 겪습니다.

교차검증거대언어모델을 직접 사용하는 방식은 모델 학습이 필요 없지만, 라벨 수가 10만 개를 넘으면 컨텍스트 윈도우 제한으로 인해 모델이 환각 현상을 일으킵니다. 모든 라벨을 프롬프트에 포함하는 것은 비용 측면에서도 비효율적입니다.

팩트벡터 검색 단계에서는 큐웬3-임베딩-8B(Qwen3-Embedding-8B) 모델을 사용하여 라벨과 입력 문서를 임베딩합니다. 의미적 유사성을 측정하는 코사인 유사도와 단어 빈도를 고려하는 BM25 알고리즘을 결합하여 하이브리드 점수를 산출합니다.

팩트10만 개의 라벨을 임베딩하는 데는 약 1.6기가바이트(GB)의 저장 공간이 필요합니다. 데이터브릭스 AI 쿼리 함수를 사용하면 1분에서 3분 내에 처리가 가능합니다.

팩트생성된 임베딩은 메모리에 인덱스로 저장되어 워크플로우 전반에서 빠르게 활용됩니다. AI 분류 함수는 벡터 검색으로 추려진 후보군을 입력받아 최종 라벨을 결정합니다.

주장사용자는 정확도가 더 이상 향상되지 않는 최적의 후보군 개수를 설정하여 성능과 비용의 균형을 맞출 수 있습니다. 이는 기업이 대규모 데이터를 처리할 때 예산을 최적화하는 핵심 전략입니다.

교차검증테스트에는 지피티-5.6 루나(GPT-5.6 Luna), 지피티-5.4 미니(GPT-5.4 mini), 제미나이 3.5 플래시(Gemini 3.5 Flash), 클로드 소넷 5(Claude Sonnet 5) 등이 사용되었습니다. 클로드 오퍼스 4.8이나 지피티-5.6 솔(GPT-5.6 Sol)과 같은 최상위 모델은 토큰당 비용이 3배에서 10배 높아 대규모 분류 작업에 부적합합니다.

주장데이터브릭스의 이번 솔루션은 복잡한 규칙 관리 없이도 대규모 데이터를 정확하게 분류할 수 있는 실질적인 대안을 제시합니다. 기업은 이를 통해 인프라 운영 비용을 획기적으로 줄일 수 있습니다.

출처데이터브릭스 공식 블로그의 기술 문서를 통해 해당 내용을 교차 검증했습니다. (https://www.databricks.com/blog/scaling-document-classification-100k-labels)