데이터브릭스, 오픈텔레메트리 기반 AI 에이전트 추적 기능 도입

주장인공지능(AI) 에이전트의 복잡한 동작을 파악하려면 프롬프트와 도구 호출, 응답 시간 등 상세한 추적 데이터가 필요합니다. 기존 관측 도구는 비용과 데이터 보관 문제로 인해 AI 에이전트의 전체적인 분석과 평가에 한계를 보입니다.

팩트데이터브릭스는 오픈텔레메트리(OpenTelemetry) 표준을 사용하여 추적 데이터를 유니티 카탈로그(Unity Catalog) 테이블에 직접 기록하는 기능을 지원합니다. 이 과정은 완전 관리형 서버리스 수집 경로를 통해 이루어지며 별도의 인프라 운영이 필요하지 않습니다.

교차검증기존의 서비스형 소프트웨어(SaaS) 기반 관측 도구는 운영 지표 확인에는 유리하지만, 대규모 텍스트 데이터를 장기 보관할 경우 비용 부담이 큽니다. 또한 민감한 프롬프트 데이터를 외부 플랫폼으로 전송하는 것은 정보 보안 측면에서 위험 요소가 될 수 있습니다.

팩트데이터브릭스의 제로버스 인제스트(Zerobus Ingest)는 원격 프로시저 호출(gRPC)을 통해 오픈텔레메트리 프로토콜을 기본적으로 지원합니다. 이를 통해 카프카(Kafka)와 같은 중간 메시지 버스 없이도 데이터를 레이크하우스로 직접 스트리밍할 수 있습니다.

주장추적 데이터를 레이크하우스 내의 델타 테이블에 저장하면 구조화 질의어(SQL)를 이용한 분석과 대시보드 구축, 추출·변환·적재(ETL) 파이프라인 연동이 가능해집니다. 이는 단순한 시스템 모니터링을 넘어 비즈니스 데이터와 결합한 심층적인 분석을 지원합니다.

팩트유니티 카탈로그에 저장된 데이터는 개인정보 마스킹과 같은 거버넌스 제어를 적용할 수 있습니다. 데이터 주권을 유지하면서도 머신러닝플로우(MLflow)를 활용해 추적 데이터를 검색하고 필터링하며 디버깅하는 작업이 가능합니다.

교차검증추적 데이터를 외부 시스템에 보관하면 데이터 파편화가 발생하며, 분석을 위해 데이터를 이동시키는 과정에서 추가적인 파이프라인과 데이터 중복이 발생합니다. 데이터브릭스는 단일 저장소 아키텍처를 통해 이러한 복잡성을 제거합니다.

팩트머신러닝플로우는 오픈텔레메트리 데이터를 기반으로 스팬, 로그, 메트릭 테이블을 자동으로 생성합니다. 여기에는 실행 데이터뿐만 아니라 평가 피드백과 메타데이터, 태그 등을 포함하는 주석 테이블도 포함됩니다.

주장생산 환경에서의 추적 데이터는 모델 평가와 지속적인 개선을 위한 핵심 자산입니다. 실제 사용 사례를 기반으로 한 데이터가 평가 루프에 즉각 반영될 때 AI 에이전트의 성능을 빠르게 향상시킬 수 있습니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/observability-any-agent-anywhere-production-ready-tracing-opentelemetry-unity-catalog)를 통해 해당 내용을 교차 검증했습니다.