데이터브릭스 지니 해커톤의 자연어 데이터 분석 전략

주장데이터브릭스는 지니 제품군을 통해 기업이 구조화 질의어인 SQL 대신 일상 언어로 데이터와 소통하는 환경을 구축합니다. 이는 단순한 기능 추가를 넘어 관리되는 대화형 분석을 기업 데이터 전략의 핵심으로 삼겠다는 의지입니다.

팩트데이터브릭스는 제5회 고객 해커톤을 개최하여 지니 에이전트, 지니 코드, 지니 구성이라는 세 가지 트랙을 중심으로 프로젝트를 진행했습니다. 이번 행사는 사용자가 제품을 직접 구축하며 실질적인 비즈니스 가치를 창출하는 과정을 담았습니다.

팩트지니 에이전트는 관리되는 데이터에 대한 채팅 인터페이스를 제공하며, 지니 코드는 데이터 및 머신러닝 워크플로우를 지원하는 인공지능 파트너 역할을 합니다. 지니 구성은 에이전트를 다른 앱이나 에이전트가 호출할 수 있는 도구로 활용하게 합니다.

팩트모든 지니 기능의 하부에는 유니티 카탈로그가 존재하여 데이터 접근 권한을 엄격히 관리합니다. 지니 온톨로지는 조직 내에서 공유되는 의미론적 이해를 제공하여 데이터 해석의 일관성을 유지합니다.

교차검증원트러스트 사례를 보면 단일 지니 에이전트는 약 30개의 테이블을 처리할 때 가장 정확합니다. 실제 기업 데이터는 수백 개의 테이블로 구성되는 경우가 많아 여러 에이전트를 분산 배치하고 이를 통합하는 감독 계층 구축이 필요합니다.

팩트원트러스트는 190개 이상의 테이블과 300개 이상의 뷰를 처리하기 위해 데이터를 여러 에이전트로 분할하고 질문을 적절히 라우팅하는 방식을 채택했습니다. 이를 통해 사용자는 단일 인터페이스에서 기업 전체 데이터를 관리형 환경으로 조회합니다.

팩트지니 코드는 분석가가 SQL을 직접 작성하는 대신 자연어로 원하는 바를 설명하면 메트릭 뷰, 함수, 파이프라인 등을 자동으로 생성합니다. 프로코어는 이를 활용해 며칠 만에 휴가 렌탈 플랫폼을 위한 분석 대시보드와 핵심 성과 지표 예측 시스템을 구축했습니다.

팩트패내틱스 베팅 앤 게이밍은 지니를 사용하여 기존 이탈 예측 모델을 검증했습니다. 그 결과 더 단순한 접근 방식이 효과적임을 확인하고 해당 워크플로우를 재사용 가능한 분석가 기술로 패키징했습니다.

주장지니의 진정한 가치는 단순한 데이터 조회를 넘어 다른 에이전트와 결합하여 복합적인 자동화 시스템을 구성하는 데 있습니다. 엔지니어는 데이터브릭스 앱 상에서 지니를 도구로 활용하여 고도화된 업무를 자동화합니다.

팩트쉽밥은 지니를 활용해 매일 밤 공급망 운영 보고서를 자동으로 작성하는 시스템을 구축했습니다. 이 시스템은 지니가 데이터 웨어하우스를 조회하고 다른 에이전트들이 외부 피드를 결합하여 위험 수익을 계산하고 보고서 초안을 작성 및 검증하는 방식으로 운영됩니다.

주장데이터브릭스는 지니를 통해 기업이 데이터 활용의 문턱을 낮추고 분석 효율을 극대화하도록 지원합니다. 앞으로 지니는 기업 내 데이터 민주화를 가속하는 핵심 도구로 자리 잡을 전망입니다.

출처데이터브릭스 공식 블로그의 제5회 지니 해커톤 성과 보고서를 교차 검증했습니다.