AWS 세이지메이커 ML플로우 REST API 프록시 구축 방안

주장많은 기업이 엄격한 보안 정책이나 기존 시스템의 제약으로 인해 아마존 세이지메이커(Amazon SageMaker) ML플로우(MLflow) 소프트웨어 개발 키트(SDK)를 직접 활용하지 못하는 문제를 겪고 있습니다. 이번 솔루션은 플라스크(Flask) 기반의 프록시 서비스를 구축하여 이러한 기술적 장벽을 극복하고 클라우드 네이티브 서비스로의 전환을 지원합니다.

팩트이 아키텍처는 애플리케이션 로드 밸런서(ALB), 플라스크 프록시 서비스, 아마존 세이지메이커 ML플로우 등 세 가지 핵심 구성 요소로 이루어집니다. 로드 밸런서는 트래픽 분산과 보안 소켓 계층(SSL) 종료를 담당하며, 프록시 서비스는 아마존 웹 서비스(AWS) 아이덴티티 및 액세스 관리(IAM) 인증과 유알엘(URL) 변환을 수행합니다.

주장프록시 서비스는 표준 하이퍼텍스트 전송 프로토콜 보안(HTTPS) 요청을 인증된 AWS API 호출로 변환하는 가교 역할을 합니다. 기업은 이를 통해 기존 워크플로우를 유지하면서도 클라우드 기반의 머신러닝 실험 추적 및 모델 관리 기능을 안전하게 활용할 수 있습니다.

팩트해당 솔루션의 배포 과정은 AWS 클라우드 개발 키트(CDK)를 사용하여 약 40분 정도 소요됩니다. 전체 인프라는 네트워킹 스택, 세이지메이커 도메인 스택, ML플로우 스택, 플라스크 애플리케이션 스택 등 총 4개의 스택으로 구성됩니다.

팩트구현을 위해서는 AWS 계정, AWS 명령줄 인터페이스(CLI), 노드(Node) 18.0.0 이상, AWS CDK 2.100.0 이상, 파이썬(Python) 3.x 버전이 설치된 워크스테이션이 필요합니다. 또한 AWS IAM 권한 설정과 가상 사설 클라우드(VPC), 탄력적 컴퓨팅 클라우드(EC2), 단순 저장 서비스(S3) 등 관련 리소스에 대한 이해가 필요합니다.

팩트아마존 세이지메이커 ML플로우는 관리형 추적 서버 모드와 서버리스 ML플로우 애플리케이션 모드라는 두 가지 배포 방식을 지원합니다. 사용자는 운영 환경에 적합한 모드를 선택하여 메타데이터 저장소와 모델 파일 저장소를 관리합니다.

주장보안 정책 준수가 필수적인 엔터프라이즈 환경에서 이 프록시 아키텍처는 효과적인 대안입니다. 표준 HTTPS 엔드포인트를 통해 접근함으로써 복잡한 SDK 설정 없이도 클라우드 머신러닝 서비스와 기존 시스템을 매끄럽게 연결합니다.

교차검증이 솔루션은 보안성을 높이고 기존 시스템과의 호환성을 유지하지만, 추가적인 인프라 운영이 필요하다는 점을 고려해야 합니다. 아마존 EC2 인스턴스, 로드 밸런서, 세이지메이커 리소스 등에서 비용이 발생할 수 있으므로 AWS 요금 계산기를 통한 사전 검토가 필요합니다.

교차검증제시된 구현 방식은 애플리케이션 로드 밸런서를 기본으로 하지만, 사용자의 요구 사항에 따라 엔진엑스(Nginx) 등 다른 라우팅 솔루션으로 대체가 가능합니다. 이는 기업의 기존 네트워크 아키텍처에 맞춰 유연하게 조정할 수 있는 확장성을 제공합니다.

출처AWS 공식 블로그의 머신러닝 섹션을 통해 해당 기술 문서를 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/streamline-external-access-to-amazon-sagemaker-mlflow-using-a-rest-api-proxy/)