데이터브릭스, 보안 경고 분류 자동화 에이전트 도입

주장보안 팀은 쏟아지는 경고를 모두 조사하기 어렵기에 저위험 경고를 방치하는 경우가 많습니다. 데이터브릭스는 이러한 한계를 극복하고자 에이전트 기반의 자동 분류 시스템을 도입했습니다.

팩트데이터브릭스는 17개의 소스별 전문 에이전트를 구축하여 경고 소스에 최적화된 분석을 수행합니다. 이 에이전트들은 스파크 스트럭처드 스트리밍 환경에서 실시간으로 작동합니다.

팩트시스템 도입 결과 저위험 경고의 자동 분류가 가능해졌습니다. 이는 기존 고위험 및 중위험 경고보다 10배 높은 진양성률을 기록하며, 첫 30일 동안 6,500시간 이상의 분석가 업무 시간을 절감했습니다.

교차검증초기에는 모든 경고 데이터를 하나의 프롬프트에 넣는 단순한 방식을 시도했으나 50%라는 높은 오탐률이 발생했습니다. 이는 소스별 맥락 정보가 부족할 경우 범용 인공지능 모델만으로는 정확한 분류가 어렵다는 점을 보여줍니다.

팩트데이터브릭스는 위협 인텔리전스 에이전트를 별도로 운영하여 경고에 포함된 IP나 도메인 정보를 심층 분석합니다. 이 에이전트는 데이터가 악성인지, 미확인인지, 혹은 무해한지를 구조화된 평가로 반환합니다.

팩트각 에이전트는 결정론적 필터링을 통해 알려진 무해한 신호를 즉시 제거합니다. 이 과정은 전체 경고량의 30%에서 95%를 처리하며 인공지능 모델 호출 비용을 절감합니다.

주장보안 팀은 인력 증원, 경고 임계값 상향, 혹은 자동화 도입 중 하나를 선택해야 하는 상황에 직면해 있습니다. 데이터브릭스는 판단과 실행이 가능한 에이전트를 활용하여 자동화의 길을 선택했습니다.

팩트에이전트가 경고를 상향 조정하면 보안 대응 팀의 대기열에 티켓이 생성됩니다. 분석가는 원본 경고와 에이전트의 분석 결과를 함께 검토하며, 분석가의 피드백은 에이전트 성능을 개선하는 데 사용됩니다.

교차검증에이전트의 판단은 고정된 사양과 비교하기 어려우므로 보안 분석가들이 정의한 표준 데이터셋을 기준으로 성능을 평가합니다. 모든 에이전트 요청은 엠엘플로우를 통해 기록되어 입력값과 결과값이 추적됩니다.

팩트비용 관리를 위해 결정론적 필터링, 일일 경고 처리량 제한, 카테고리별 도구 호출 예산 설정 등 세 가지 통제 장치를 마련했습니다. 이는 인공지능 모델의 무분별한 호출을 방지하고 운영 효율을 극대화합니다.

주장데이터브릭스의 사례는 보안 운영의 복잡성을 해결하기 위해 특화된 에이전트 조합이 필수적임을 시사합니다. 이러한 접근 방식은 보안 분석가의 업무 부담을 줄이고 대응 속도를 높입니다.

출처데이터브릭스의 공식 블로그(https://www.databricks.com/blog/scaling-security-alert-triage-specialized-agents-databricks)를 통해 위 내용을 교차 검증했습니다.