도이체 뵈르제의 데이터브릭스 전환을 위한 생성형 AI 도구 도입

주장도이체 뵈르제 그룹은 2027년까지 완료해야 하는 대규모 제플린 노트북 마이그레이션 과제를 해결하고자 생성형 AI 기반의 전환 도구를 직접 개발했습니다. 수동 작업으로 처리하기 어려운 방대한 양의 데이터를 효율적으로 옮기기 위해 자동화와 AI를 결합한 하이브리드 방식을 채택했습니다.

팩트도이체 뵈르제 그룹의 통계 플랫폼인 스태티스틱스(StatistiX)는 그룹 전체 청산 및 거래 데이터의 95%를 처리합니다. 이 플랫폼은 수백 명의 비즈니스 사용자를 위한 셀프 서비스 분석 환경을 제공하며 데이터의 접근성과 활용성을 유지하는 것이 핵심 과제입니다.

팩트기존에는 클라우데라(Cloudera) 환경에서 제플린 노트북을 사용했으나 2027년 제플린 서비스 종료와 클라우드 전환 전략에 따라 데이터브릭스(Databricks)로의 통합이 결정되었습니다. 이 과정에서 2,000명 이상의 사용자가 보유한 복잡한 노트북을 모두 옮겨야 하는 대규모 마이그레이션 과제가 발생했습니다.

주장노트북 내의 구조화 질의어(SQL), 파이썬(Python) 로직, 시각화 요소는 비즈니스 특화 지식을 담고 있어 기존 규칙 기반의 자동화 엔진으로는 처리가 불가능했습니다. 구조적 변환은 자동화 도구로 처리하고 복잡한 로직 재구성은 생성형 AI인 지니(Genie)에게 맡기는 전략을 수립했습니다.

팩트개발된 데이터브릭스 앱은 제플린의 단락 형식을 데이터브릭스 셀로 변환하고 인터프리터 구문을 데이터브릭스 환경에 맞게 매핑합니다. 이 과정에서 메타데이터를 제이슨(JSON) 형식으로 재구성하며 원본 콘텐츠의 비즈니스 로직은 수정하지 않고 보존합니다.

팩트변환된 노트북은 데이터브릭스의 지니를 통해 로직이 재구성됩니다. 앱은 사용자가 업로드한 노트북의 환경 정보를 바탕으로 문맥을 파악한 프롬프트를 자동으로 생성하며 지니가 데이터브릭스 환경에 최적화된 코드를 작성하도록 돕습니다.

교차검증도이체 뵈르제는 SQL 로직, 시각화, 위젯, 데이터 소스 참조 등 비즈니스 핵심 로직을 자동 변환 대상에서 제외했습니다. 자동화가 오류를 유발할 위험이 있는 부분은 AI가 문맥을 이해하고 판단하게 함으로써 시스템의 신뢰성을 확보했습니다.

팩트새로운 전환 도구를 도입한 결과 과거 수 시간이 소요되던 노트북 재개발 작업이 노트북당 15분에서 20분 수준으로 감소했습니다. 이는 리소스 집약적인 마이그레이션 작업을 확장 가능하고 반복 가능한 워크플로우로 전환했음을 의미합니다.

주장이번 프로젝트는 생성형 AI를 활용한 마이그레이션이 단순한 미래 기술이 아니라 현재 즉시 활용 가능한 실질적인 솔루션임을 입증했습니다. 데이터브릭스 앱과 생성형 AI의 결합은 클라우드 전환 과정에서 발생하는 난제를 해결하는 표준 모델이 될 전망입니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/how-deutsche-borse-built-generative-ai-tool-tackle-large-scale-migration-zeppelin-notebooks)를 통해 해당 내용을 교차 검증했습니다.