데이터브릭스, 기업용 문서 지능 솔루션 출시

주장최신 인공지능 에이전트가 기업용 문서 처리 작업에서 50% 미만의 낮은 정확도를 보이는 이유는 추론 능력 부족이 아닌 문서 판독 능력의 한계 때문입니다. 문서 처리는 에이전트 워크플로우의 전체 정확도를 결정하는 핵심 요소입니다.

팩트데이터브릭스 인공지능 연구팀이 기업 문서 워크플로우를 기반으로 개발한 벤치마크인 오피스큐에이(OfficeQA) 테스트 결과, 고성능 에이전트조차 문서 추론 작업에서 50% 이하의 정확도를 기록했습니다. 이는 복잡한 레이아웃과 중첩된 표, 손글씨가 포함된 실제 환경에서 에이전트가 정보를 제대로 파악하지 못한다는 사실을 입증합니다.

팩트데이터브릭스는 이러한 문제를 해결하고자 문서 지능(Document Intelligence) 솔루션을 통해 문서 파싱(ai_parse_document), 분류(ai_classify), 정보 추출(ai_extract) 기능을 제공합니다. 이 기능들은 원본 문서를 구조화된 텍스트로 변환하고 핵심 정보를 추출하여 에이전트의 데이터 처리 효율을 높입니다.

팩트실제 재무 채권 문서를 대상으로 벤치마크를 수행한 결과, 문서 파싱을 거친 경우 모든 에이전트 프레임워크에서 평균 16%의 성능 향상을 확인했습니다. 이는 에이전트의 추론 모델을 변경하지 않고도 데이터 계층의 개선만으로 정확도를 높일 수 있음을 시사합니다.

교차검증문서 처리 성능 향상과 함께 일부 모델에서는 토큰 사용량이 증가하는 현상이 나타납니다. 클로드 오퍼스(Claude Opus) 4.6 모델의 경우 구조화된 레이아웃 텍스트를 처리할 때 더 많은 토큰을 검색하려는 경향이 있어 비용 상승 가능성이 존재합니다.

팩트데이터브릭스의 솔루션은 기존 범용 모델 대비 5~7배 낮은 비용으로 더 높은 정확도를 달성하도록 설계되었습니다. 파싱 단계를 한 번만 수행하고 추출 단계에서 재사용하는 효율적인 파이프라인 구조를 채택했기 때문입니다.

팩트모든 인공지능 기능은 서버리스 배치 인프라에서 실행되므로 100개의 문서를 처리하는 SQL 코드로 10만 개의 문서도 동일하게 처리합니다. 별도의 파이프라인 재설계 없이도 기업 규모의 대량 워크로드를 즉시 지원합니다.

주장현재 많은 기업은 광학 문자 인식(OCR) 서비스와 추출 응용 프로그램 인터페이스(API), 분류 모델을 개별적으로 연결하여 파편화된 파이프라인을 운영합니다. 이러한 방식은 유지보수가 어렵고 오류 발생 시 디버깅이 불가능하며 확장성이 낮습니다.

팩트데이터브릭스는 레이크플로우 커넥트(Lakeflow Connect)를 통한 데이터 수집과 유니티 카탈로그(Unity Catalog)를 통한 거버넌스, 에이전트 브릭스(Agent Bricks)를 통한 에이전트 구축을 하나의 통합 워크플로우로 제공합니다. 기업은 파편화된 서비스 대신 단일 플랫폼에서 문서 지능을 관리합니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/why-frontier-agents-cant-read-documents-and-how-were-fixing-it)를 교차 검증했습니다.