데이터브릭스, 기업용 데이터 분석 에이전트 지니 공개

주장데이터브릭스는 기업의 복잡한 데이터 질문에 대응하기 위해 최첨단 데이터 에이전트인 지니를 개발했습니다. 이 에이전트는 테이블과 문서, 대시보드 등 다양한 정형 및 비정형 데이터를 통합 분석합니다.

팩트지니는 내부 벤치마크 테스트 결과 기존 코딩 에이전트 대비 정확도를 32%에서 90% 이상으로 향상했습니다. 또한 데이터 분석 과정에서 발생하는 비용과 지연 시간을 유의미하게 줄이는 성과를 보였습니다.

교차검증데이터 에이전트는 정적인 파일 시스템이 아닌 역동적인 데이터 레이크하우스 환경에서 작동합니다. 수십만 개의 데이터 자원 속에서 맥락을 찾아야 하는 고도의 작업이 필요합니다.

팩트데이터 에이전트가 직면한 주요 과제는 데이터 발견의 규모와 정보의 신뢰성 판단, 검증 가능한 테스트의 부재입니다. 기업 데이터는 파편화되어 있어 단일 소스만으로는 질문에 답하기 어려운 경우가 많습니다.

주장지니는 전문 지식 검색과 병렬 사고, 다중 거대언어모델 설계를 통해 이러한 기술적 난제를 해결합니다. 각 단계별로 최적화된 모델을 배치하여 정확도와 효율성을 동시에 확보합니다.

팩트전문 지식 검색 기술은 워크스페이스 내 테이블과 문서의 메타데이터를 활용하여 검색 품질을 높입니다. 이를 통해 테이블 검색 성능을 기존 대비 최대 40%까지 개선하는 효과를 확인했습니다.

주장병렬 사고 방식은 정답을 확신하기 어려운 데이터 분석 환경에서 여러 경로의 추론을 샘플링하여 결과를 도출합니다. 이는 단일 테스트가 불가능한 개방형 데이터 질문에 대한 신뢰도를 높이는 핵심 기법입니다.

팩트다중 거대언어모델 설계는 기획과 검색, 코드 생성 등 각 작업에 가장 적합한 모델을 선택적으로 활용합니다. 데이터브릭스 플랫폼은 오퍼스와 지피티, 제미나이 등 다양한 모델을 유연하게 결합합니다.

교차검증데이터 분석은 코딩과 유사하지만 데이터의 불완전성과 모호한 비즈니스 맥락 때문에 더 복잡한 자가 수정 능력이 필요합니다. 지니는 중간 계산 과정에서 오류를 발견하면 스스로 수정하는 루프를 포함합니다.

출처데이터브릭스 공식 블로그를 통해 해당 기술의 상세 내용과 연구 배경을 교차 검증했습니다. (https://www.databricks.com/blog/pushing-frontier-data-agents-genie)