토모펀의 AWS Inferentia2 기반 펫 행동 감지 모델 비용 최적화

주장토모펀은 펫 카메라 서비스인 퍼보의 실시간 행동 감지 기능을 유지하면서 인프라 비용을 절감해야 하는 과제에 직면했습니다. 기존 그래픽 처리 장치 기반의 아마존 탄력적 컴퓨팅 클라우드 인스턴스는 높은 처리량을 제공하지만, 상시 가동되는 추론 작업에는 비용 부담이 컸습니다.

팩트토모펀은 대만에 본사를 둔 펫테크 스타트업으로, 스마트 카메라와 인공지능을 결합해 반려동물의 짖음이나 이상 행동을 실시간으로 감지합니다. 이 서비스는 수십만 대의 기기에서 발생하는 영상 데이터를 처리하기 위해 고성능 비전-언어 모델인 블립을 사용합니다.

교차검증그래픽 처리 장치에서 아마존 웹 서비스 인퍼런시아2 기반의 인스턴스로 전환하는 과정에서 가장 큰 우려는 기존 파이토치 기반의 방대한 코드베이스를 재작성해야 한다는 점이었습니다. 토모펀은 모델의 핵심 로직을 변경하지 않고도 추론 환경을 최적화할 기술적 해결책이 필요했습니다.

팩트토모펀은 인퍼런시아2 전용 인공지능 칩을 탑재한 인스턴스를 도입하여 문제를 해결했습니다. 이 과정에서 뉴런 소프트웨어 개발 키트를 활용해 블립 모델의 구성 요소를 독립적으로 컴파일하고, 경량 래퍼를 사용하여 모델 구조를 유지했습니다.

팩트블립 모델은 이미지 인코더, 텍스트 인코더, 텍스트 디코더의 세 가지 구성 요소로 나뉩니다. 각 구성 요소는 토치 뉴런 엑스를 통해 독립적으로 컴파일되었으며, 이를 통해 원본 모델의 사전 학습된 로직을 그대로 보존했습니다.

교차검증모델 컴파일 시 토치 뉴런 엑스 트레이스 응용 프로그램 인터페이스는 특정 형태의 텐서 입출력을 요구합니다. 토모펀은 모델의 내부 로직을 수정하는 대신, 입출력 형식을 표준화하는 어댑터 계층인 래퍼 코드를 도입하여 이 문제를 해결했습니다.

팩트시스템 아키텍처는 아마존 클라우드 프론트, 탄력적 로드 밸런싱, 그리고 탄력적 컴퓨팅 클라우드 자동 확장 그룹으로 구성됩니다. 토모펀은 클라우드 워치를 통해 지연 시간, 처리량, 오류율을 모니터링하며 트래픽 변화에 따라 실시간으로 인스턴스 규모를 조정합니다.

주장이번 사례는 특정 하드웨어에 종속되지 않는 유연한 아키텍처 설계의 중요성을 보여줍니다. 토모펀은 응용 프로그램 인터페이스 수정 없이 그래픽 처리 장치와 인퍼런시아2 백엔드를 실시간으로 전환할 수 있는 구조를 구축하여 서비스 가용성을 극대화했습니다.

주장이번 전환은 인공지능 서비스 기업들이 고비용 그래픽 처리 장치 의존도에서 벗어나 전용 칩셋을 통해 운영 효율성을 높일 수 있는 실질적인 경로를 제시합니다. 특히 상시 가동이 필요한 실시간 추론 서비스에서 비용 절감과 성능 유지라는 두 가지 목표를 동시에 달성하는 전략적 모델이 됩니다.

출처해당 내용은 아마존 웹 서비스 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/cost-effective-deployment-of-vision-language-models-for-pet-behavior-detection-on-aws-inferentia2/)를 교차 검증했습니다.