데이터브릭스, 머신러닝 피처 뷰 프레임워크 공개

주장데이터브릭스가 머신러닝 피처의 정의와 운영을 통합하는 피처 뷰 프레임워크를 공개했습니다. 이 기술은 데이터 과학자가 피처를 한 번만 작성하면 실험부터 실시간 배포까지 플랫폼이 자동으로 처리하도록 설계했습니다.

팩트피처 뷰는 유니티 카탈로그 내에서 관리되는 객체로 운영됩니다. 스트리밍 피처의 경우 이벤트 발생부터 온라인 가용성까지 엔드투엔드 p99 지연 시간이 200밀리초 수준으로 매우 빠릅니다.

교차검증기존 머신러닝 환경에서는 학습용 데이터와 실시간 서비스용 데이터의 계산 방식이 달라 성능 저하가 발생하는 학습-서빙 왜곡 문제가 빈번했습니다. 피처 뷰는 단일 정의를 사용함으로써 이러한 불일치를 구조적으로 제거합니다.

팩트사용자는 피처 뷰를 통해 소스, 엔티티, 시계열 컬럼 및 계산 로직을 정의합니다. 데이터브릭스 피처 스토어는 이 정의를 바탕으로 실험을 위한 과거 시점 정확도 데이터를 생성하고 실시간 추론을 위한 파이프라인을 구동합니다.

주장이번 업데이트는 복잡한 인프라 운영 부담을 줄여줍니다. 데이터 과학자는 인프라를 직접 관리할 필요 없이 API 호출 몇 번만으로 피처를 프로덕션 환경에 배포합니다.

팩트지니 코드는 피처 뷰와 네이티브로 통합됩니다. 데이터 과학자는 간단한 프롬프트를 통해 노트북 환경에서 새로운 피처를 생성하고 데이터 중요도를 분석하며 학습 세트를 구축합니다.

교차검증스트리밍 머티리얼라이제이션 기능을 사용하려면 데이터브릭스 엔터프라이즈 티어 워크스페이스가 필요합니다. 또한 해당 기능을 지원하는 리전에서만 레이크베이스를 활용한 실시간 처리가 가능합니다.

팩트금융 서비스 분야에서는 롤링 윈도우 스트리밍 피처를 활용해 부정 거래 탐지에 필요한 초단위 신호를 포착합니다. 개인화 및 추천 시스템 팀은 사용자의 최신 세션 의도를 파악하여 서비스 참여도를 높이는 데 이를 활용합니다.

주장피처 뷰는 데이터 거버넌스를 강화합니다. 모든 피처는 유니티 카탈로그를 통해 관리되므로 데이터 발견, 접근 제어, 계보 추적이 가능하며 모델과 함께 패키징되어 배포됩니다.

팩트모델 서빙 시 머신러닝 플로우와 연동되어 필요한 피처를 자동으로 조회합니다. 이 과정에서 별도의 커스텀 조회 코드나 수동 인프라 설정이 필요하지 않아 전체 머신러닝 스택의 개발 효율성이 향상됩니다.

주장데이터브릭스는 이번 기술 도입을 통해 복잡한 머신러닝 파이프라인의 자동화를 가속화합니다. 이는 기업이 데이터 기반 의사결정을 실시간으로 수행하도록 돕는 핵심 동력이 됩니다.

출처데이터브릭스 공식 블로그의 'Introducing Feature Views' 게시물을 교차 검증했습니다.