데이터브릭스 기반 수소 연료 전지 R&D 데이터 허브 구축 사례

주장산업용 인공지능(AI)의 성패는 파편화된 연구개발(R&D) 데이터를 통합하고, AI 에이전트가 신뢰할 수 있는 거버넌스 기반의 맥락을 제공하는 데 달려 있습니다. 데이터 엔지니어링 단계부터 AI가 이해할 수 있는 문맥을 구축해야 실질적인 가치를 창출합니다.

팩트다임러 트럭과 볼보 그룹의 합작사인 셀센트릭(Cellcentric)은 수소 연료 전지 시스템 개발을 위해 마이크로소프트 애저(Azure)와 데이터브릭스(Databricks)를 기반으로 데이터 허브를 구축했습니다. 이 시스템은 유니티 카탈로그(Unity Catalog)와 레이크하우스 페더레이션(Lakehouse Federation)을 사용하여 사내외 데이터를 통합 관리합니다.

팩트셀센트릭이 개발한 연료 전지 패스포트는 SAP S/4HANA, 제조 실행 시스템, 실험실 데이터베이스, 사물인터넷(IoT) 원격 측정 플랫폼 등 5개의 엔터프라이즈 소스 시스템을 통합합니다. 이 데이터 제품은 시스템부터 원자재 배치까지 7단계의 계층 구조를 모델링하며 매일 데이터를 갱신합니다.

교차검증데이터 품질을 단순히 데이터의 완전성이나 최신성으로만 판단하는 것은 한계가 있습니다. AI 에이전트에게는 데이터의 의미와 비즈니스 질문과의 연관성, 주의 사항 등을 포함한 맥락적 정보가 필수적이며, 이를 확보하지 못하면 AI의 추론 결과에 오류가 발생할 수 있습니다.

팩트셀센트릭은 데이터 제품에 맥락 커버리지 배지를 도입하여 문서화 수준을 시각화했습니다. 현재 27개의 데이터 제품이 게시되어 있으며, 각 제품은 평균 90% 이상의 컬럼 코멘트 커버리지를 유지합니다.

주장문서화는 사후 작업이 아니라 엔지니어링 워크플로우의 핵심 요소가 되어야 합니다. 개발 과정에서 생성된 풍부한 마크다운 문서는 다음 엔지니어와 AI 에이전트가 데이터를 올바르게 해석하고 활용하도록 돕는 구조적 맥락이 됩니다.

팩트데이터 허브는 인간 사용자에게 마켓플레이스 및 워크벤치 인터페이스를 제공합니다. AI 에이전트에게는 모델 컨텍스트 프로토콜(MCP) 서버를 통해 동일한 메타데이터와 맥락 정보를 제공합니다. 이를 통해 인간과 AI는 동일한 거버넌스 환경에서 데이터를 탐색하고 활용합니다.

교차검증에이전트가 데이터에 접근할 때 보안 위험이 발생할 수 있으나, 셀센트릭은 사용자 식별자(ID) 기반의 거버넌스를 적용하여 이를 해결했습니다. 에이전트는 사용자의 권한 범위를 벗어날 수 없으며, 유니티 카탈로그가 최종 승인 권한을 통제합니다.

팩트데이터 접근 제어는 애저 액티브 디렉토리(AD)에서 시작하여 오스(OAuth) 2.0 토큰 교환 방식을 통해 데이터브릭스로 이어집니다. 사용자가 사용자 인터페이스(UI)를 통해 쿼리하든, 에이전트가 도구를 호출하든 동일한 권한 경계 내에서 작동합니다.

주장셀센트릭의 사례는 데이터 허브가 단순한 저장소를 넘어 AI와 인간의 협업을 지원하는 지능형 플랫폼으로 진화해야 함을 보여줍니다. 데이터 거버넌스와 맥락 정보의 결합은 기업의 데이터 활용 효율을 극대화하는 핵심 전략입니다.

팩트데이터 허브 구축을 통해 셀센트릭은 복잡한 수소 연료 전지 개발 과정에서 발생하는 방대한 데이터를 체계적으로 관리합니다. 이는 연구원들의 데이터 접근성을 높이고 AI 모델의 정확도를 향상하는 결과를 낳았습니다.

출처데이터브릭스 공식 블로그의 'Why R&D Data Belongs in the Lakehouse and Why Agents Need It There' 게시물을 교차 검증했습니다.