아마존 세이지메이커 AI 비동기 추론의 인라인 페이로드 지원 도입

주장아마존 세이지메이커 AI 비동기 추론 서비스가 인라인 페이로드 기능을 도입하여 개발자의 작업 효율성을 높였습니다. 기존에는 모든 요청마다 데이터를 아마존 S3에 업로드해야 했으나, 이제는 API 요청 본문에 직접 데이터를 담아 전송할 수 있습니다.

팩트이번 업데이트를 통해 최대 12만 8000바이트까지의 데이터를 인라인으로 전송할 수 있습니다. 이 제한을 초과하는 대용량 데이터는 기존과 동일하게 S3 객체 URI를 사용하는 방식을 유지해야 합니다.

교차검증인라인 페이로드와 S3 입력 방식은 상호 배타적으로 작동합니다. API 요청 시 두 방식을 동시에 설정하면 오류가 발생하므로, 데이터 크기에 따라 적절한 방식을 선택해야 합니다.

팩트인라인 페이로드 지원은 서울 리전을 포함한 전 세계 31개 아마존 웹 서비스 상용 리전에서 즉시 사용 가능합니다. 사용자는 최신 버전의 보토3 라이브러리로 업데이트하여 해당 기능을 적용할 수 있습니다.

주장이번 기능 개선은 소규모 데이터 추론 시 발생하는 불필요한 네트워크 지연과 복잡한 아키텍처 문제를 해결합니다. S3 버킷 프로비저닝이나 아이에이엠 권한 관리 등 부수적인 작업이 생략되어 개발 생산성이 향상됩니다.

팩트인라인 방식을 사용하면 S3 풋 요청 비용이 제거되어 운영 비용이 절감됩니다. 또한 요청이 단일 API 호출로 완료되므로 오류 발생 경로가 단순해지고 즉각적인 유효성 검사가 가능합니다.

교차검증12만 8000바이트를 초과하는 이미지나 오디오, 대형 문서 파일은 여전히 S3 업로드 방식이 권장됩니다. 또한 감사나 재실행을 위해 입력 데이터를 보관해야 하는 경우에도 기존 S3 방식을 사용하는 것이 유리합니다.

팩트기존 비동기 추론 엔드포인트 설정이나 모델 컨테이너는 변경할 필요가 없습니다. 출력 데이터는 여전히 S3 출력 위치에 저장되며, 클라이언트는 기존과 동일하게 에스엔에스 알림이나 폴링을 통해 결과를 확인합니다.

주장이번 업데이트는 비동기 추론 워크플로우의 진입 장벽을 낮추는 중요한 변화입니다. 특히 실시간 추론보다 긴 처리 시간이 필요하면서도 데이터 크기가 작은 작업에 최적화된 환경을 제공합니다.

팩트이번 기능은 비동기 추론의 유연성을 강화하여 다양한 인공지능 모델 배포 환경을 지원합니다. 개발자는 데이터 전송 방식의 선택지를 넓혀 시스템 아키텍처를 더욱 간결하게 설계할 수 있습니다.

주장아마존 웹 서비스는 이번 업데이트를 통해 클라우드 기반 인공지능 개발 환경의 편의성을 지속적으로 개선하고 있습니다. 이는 복잡한 인프라 관리 부담을 줄여 개발자가 모델 개발에 집중하도록 돕습니다.

출처아마존 웹 서비스 공식 블로그(https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-async-inference-now-supports-inline-request-payloads/)를 통해 해당 내용을 교차 검증했습니다.