DVC와 SageMaker를 활용한 머신러닝 데이터 계보 추적 체계 구축

주장머신러닝 운영 팀은 모델 학습에 사용된 데이터와 코드, 실험 지표를 정확히 연결하는 데 어려움을 겪습니다. 이러한 추적성 부족은 규제 산업에서 모델의 재현성을 입증해야 할 때 운영상의 병목 현상을 초래합니다.

팩트본 솔루션은 데이터 버전 관리 도구인 DVC(Data Version Control), 확장형 컴퓨팅 서비스인 Amazon SageMaker AI, 실험 추적 및 모델 관리 플랫폼인 MLflow를 통합합니다. DVC는 데이터 버전을 관리하고, SageMaker는 학습 자원을 제공하며, MLflow는 실험 기록과 모델 레지스트리 역할을 수행합니다.

팩트DVC는 대용량 데이터셋을 직접 저장하는 대신 Git에 가벼운 메타파일을 저장하고 실제 데이터는 Amazon S3에 보관합니다. 이 방식은 저장소 비대화를 방지하며 데이터셋에 대한 브랜칭과 태깅 등 Git과 유사한 버전 관리 기능을 제공합니다.

팩트데이터 흐름은 SageMaker 처리 작업으로 데이터를 전처리하고 DVC로 버전화하는 단계에서 시작합니다. 이후 학습 작업에서 특정 Git 태그로 데이터셋을 불러오고, 학습 결과를 MLflow에 기록하여 모델과 데이터 간의 연결 고리를 완성합니다.

팩트모든 MLflow 학습 실행 시 'data_git_commit_id' 매개변수를 기록하여 DVC 커밋 해시를 저장합니다. 이 해시는 Amazon S3에 저장된 정확한 데이터셋 상태를 가리키는 포인터 역할을 수행하며 모델의 계보를 증명합니다.

교차검증DVC는 데이터 버전 관리에 특화되어 있으며, MLflow는 모델 생애 주기 관리에 강점이 있습니다. 두 도구를 결합하면 데이터에서 학습까지의 계보와 학습에서 배포까지의 계보를 분리하여 관리할 수 있습니다.

팩트시스템 구현을 위해서는 AWS 계정 권한과 Python 3.11 또는 3.12 버전, SageMaker Python SDK v3.4.0 이상이 필요합니다. SageMaker 실행 역할은 Git 저장소에 접근할 수 있는 권한을 보유해야 합니다.

교차검증본 가이드는 AWS CodeCommit을 Git 저장소로 사용하지만, GitHub나 GitLab 등 다른 제공업체도 사용 가능합니다. 다만 외부 저장소 이용 시 토큰 관리와 같은 별도의 인증 설정이 필요합니다.

주장데이터셋 수준의 계보 추적은 헬스케어, 금융, 자율주행 등 엄격한 감사 요건이 필요한 산업에서 필수적입니다. 특정 데이터 레코드를 학습에서 제외하거나 과거 모델을 재현해야 할 때 이 시스템은 강력한 도구로 기능합니다.

팩트DVC는 콘텐츠 주소 지정 저장소인 MD5 해시를 사용하여 중복 데이터를 저장하지 않습니다. 변경된 파일만 새로운 해시로 저장하므로 대규모 데이터셋을 효율적으로 관리하고 스토리지 비용을 절감합니다.

출처AWS 공식 블로그(https://aws.amazon.com/blogs/machine-learning/end-to-end-lineage-with-dvc-and-amazon-sagemaker-ai-mlflow-apps/)를 통해 해당 기술 아키텍처를 교차 검증했습니다.