메타의 중앙 집중식 데이터 웨어하우스 시스템 전환

주장메타는 기존의 고객 소유 파이프라인 방식에서 벗어나 하이퍼스케일 환경에 최적화된 중앙 집중식 데이터 웨어하우스 서비스로 전환했습니다. 이러한 아키텍처 변경은 시스템의 신뢰성과 운영 효율성을 극대화하기 위한 필수적인 과정입니다.

팩트메타의 소셜 그래프는 세계 최대 규모의 마이에스큐엘(MySQL) 배포 환경에서 운영됩니다. 메타는 매일 수 페타바이트 규모의 데이터를 마이에스큐엘에서 데이터 웨어하우스로 수집하며, 이를 분석과 머신러닝 모델 학습 및 제품 개발에 활용합니다.

교차검증대규모 시스템 이전은 데이터 손실이나 지연 시간 증가와 같은 운영 위험을 동반합니다. 메타는 수천 개의 작업에 대한 마이그레이션 수명 주기를 엄격하게 관리하고 롤아웃 및 롤백 제어 장치를 마련하여 이러한 위험을 방지합니다.

팩트마이그레이션 성공 기준은 데이터 품질 문제 부재와 데이터 도착 지연 시간의 개선 또는 유지, 그리고 리소스 사용량의 개선 또는 유지로 정의됩니다. 메타는 데이터의 행 개수와 체크섬을 비교하여 기존 시스템과 새로운 시스템 간의 완전한 일관성을 검증했습니다.

팩트마이그레이션의 첫 번째 단계인 섀도우 단계에서는 프로덕션 환경과 동일한 소스를 사용하되 별도의 섀도우 테이블에 데이터를 저장합니다. 메타는 이를 통해 실제 운영 환경에서 새로운 시스템의 동작을 격리된 상태로 검증하고 문제를 빠르게 수정합니다.

팩트두 번째 단계인 역방향 섀도우 단계에서는 섀도우 작업이 실제 프로덕션 테이블에 데이터를 쓰고, 기존 작업이 섀도우 테이블에 데이터를 쓰도록 전환합니다. 이 방식은 문제 발생 시 즉각적인 롤백을 가능하게 하며 지속적인 데이터 품질 비교를 지원합니다.

팩트메타는 데이터 품질 분석 도구를 개발하여 행 개수와 체크섬 불일치를 실시간으로 추적합니다. 불일치 발생 시 실시간 데이터 관리 시스템인 스쿠바(Scuba)에 로그를 기록하고 원인을 분석하여 문제를 해결합니다.

교차검증변경 데이터 캡처(CDC) 방식을 사용하는 시스템 특성상, 이전 데이터의 오류가 후속 데이터로 전이될 위험이 존재합니다. 메타는 데이터가 소비자에게 전달되기 전 조기 신호를 감지하는 체계를 구축하여 오류 전이를 차단합니다.

주장이번 마이그레이션은 메타의 데이터 인프라가 대규모 환경에서 지속 가능한 방식으로 진화하는 과정을 보여줍니다. 자동화된 검증 도구와 단계별 마이그레이션 전략은 대규모 시스템 운영의 새로운 표준이 됩니다.

출처메타 엔지니어링 블로그(https://engineering.fb.com/2026/05/12/data-infrastructure/migrating-data-ingestion-systems-at-meta-scale/)의 내용을 교차 검증했습니다.