아마존 세이지메이커, 오픈AI API 호환 지원 시작

주장아마존 세이지메이커(Amazon SageMaker)가 오픈AI(OpenAI)와 호환되는 응용 프로그램 인터페이스(API)를 실시간 추론 엔드포인트에 도입했습니다. 개발자는 이번 업데이트를 통해 오픈AI 소프트웨어 개발 키트(SDK)나 랭체인(LangChain) 등 기존 도구를 사용하여 세이지메이커 모델을 즉시 호출합니다.

팩트세이지메이커 엔드포인트는 이제 '/openai/v1' 경로를 통해 챗 컴플리션(Chat Completion) 요청을 처리합니다. 해당 기능은 스트리밍 응답을 포함하여 오픈AI의 표준 규격을 그대로 지원합니다.

팩트사용자는 엔드포인트 주소만 변경하면 별도의 맞춤형 클라이언트나 시그브이포(SigV4) 래퍼 없이 모델을 사용합니다. 기존 애플리케이션을 코드 재작성 과정 없이 세이지메이커 환경으로 전환합니다.

주장이번 업데이트는 인공지능 에이전트 워크플로우를 자체 인프라에서 운영하려는 기업에 효율적인 환경을 제공합니다. 랭체인이나 스트랜즈 에이전트와 같은 프레임워크를 사용하는 개발자는 전용 그래픽 처리 장치(GPU) 인스턴스에서 모델을 직접 구동합니다.

팩트세이지메이커는 베어러 토큰(Bearer Token) 인증 방식을 도입하여 보안을 강화했습니다. 해당 토큰은 최대 12시간 동안 유효하며 기존 아마존 웹 서비스(AWS) 자격 증명을 사용하여 생성합니다.

교차검증베어러 토큰은 AWS 자격 증명과 동일한 권한을 가지므로 보안 관리에 유의해야 합니다. 관리자 권한이 부여된 계정보다는 최소 권한 원칙에 따라 특정 엔드포인트에만 접근 가능한 아이엠(IAM) 역할을 사용하는 방식이 권장됩니다.

팩트다중 모델 호스팅 기능인 추론 컴포넌트를 활용하면 하나의 엔드포인트에서 여러 모델을 동시에 운영합니다. 각 모델은 독립적인 자원을 할당받으며 동일한 오픈AI SDK를 통해 호출합니다.

주장미세 조정된 오픈소스 모델을 배포할 때도 코드 변경 없이 즉시 적용이 가능합니다. 애플리케이션의 SDK 호출 방식이나 프롬프트 포맷팅을 유지하면서 인프라만 세이지메이커로 교체합니다.

팩트토큰 생성은 클라이언트 측에서 로컬로 이루어지며 별도의 네트워크 호출을 수행하지 않습니다. 생성된 토큰은 SigV4 서명이 포함된 베이스64 인코딩 문자열이며 세이지메이커 엔드포인트가 이를 검증합니다.

출처아마존 웹 서비스 공식 블로그(https://aws.amazon.com/blogs/machine-learning/announcing-openai-compatible-api-support-for-amazon-sagemaker-ai-endpoints/)를 통해 해당 내용을 교차 검증했습니다.