AWS, P-EAGLE 기반 대규모 언어 모델 추론 가속화 기술 공개

주장대규모 언어 모델의 복잡성이 증가하면서 기업 환경에서는 추론 처리량을 극대화하고 지연 시간을 최소화하는 작업이 핵심 과제로 부상했습니다. 아마존웹서비스(AWS)는 기존 추측 디코딩 방식의 순차적 한계를 극복하기 위해 P-EAGLE 기술을 개발했습니다.

팩트기존 EAGLE 방식은 초안 토큰을 자기회귀적으로 생성합니다. 추측 깊이가 깊어질수록 순차적인 전방향 패스 횟수가 늘어나며 지연 시간이 선형적으로 증가하는 구조적 한계가 존재합니다.

팩트P-EAGLE은 모든 추측 토큰을 단일 전방향 패스에서 동시에 예측합니다. 이 방식은 기존의 순차적 병목 현상을 제거합니다.

팩트P-EAGLE은 추측 토큰 개수와 순차적 전방향 패스 횟수를 분리합니다. 지연 시간 오버헤드 없이 더 깊은 추측이 가능합니다.

팩트벤치마크 결과, P-EAGLE은 기존 EAGLE 프레임워크 대비 최대 1.69배의 처리량 향상을 기록했습니다.

교차검증P-EAGLE은 EAGLE-3 아키텍처를 기반으로 하며 학습 가능한 플레이스홀더를 사용하여 병렬 예측을 수행합니다. 복잡한 그래픽 처리 장치(GPU) 커널이나 분산 서버 설정을 직접 관리하지 않아도 세이지메이커 환경에서 즉시 활용 가능합니다.

팩트아마존 세이지메이커 점프스타트는 현재 GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B-Instruct, Gemma-4-31B-IT 등 4개 모델에 대해 P-EAGLE을 기본 지원합니다. 개발자는 별도의 드래프터 학습이나 복잡한 컨테이너 설정 없이 엔드포인트를 배포합니다.

팩트Qwen3-Coder-30B-A3B-Instruct 모델 대상 벤치마크에서 P-EAGLE은 동시성 수준에 따라 베이스라인 대비 최대 4배 이상의 토큰 처리량 향상을 보였습니다. 높은 동시성 환경에서도 EAGLE-3보다 우수한 성능을 나타냅니다.

교차검증P-EAGLE의 성능은 하드웨어 사양과 모델 특성에 따라 달라질 수 있습니다. 이번 테스트는 엔비디아 B200 GPU와 FP8 양자화를 적용한 환경에서 수행되었으며 실제 운영 환경에서는 인프라 구성에 따라 결과값이 다를 수 있습니다.

팩트세이지메이커 점프스타트에서 P-EAGLE을 활성화하려면 환경 변수 SM_VLLM_SPECULATIVE_CONFIG를 설정해야 합니다. 이 변수에는 모델 경로, 메서드, 추측 토큰 수, 병렬 드래프팅 활성화 여부가 포함되어 vLLM 추론 서버에 전달됩니다.

주장P-EAGLE은 생성형 인공지능 애플리케이션의 실시간 응답성을 높이는 데 중요한 역할을 합니다. AWS는 관리형 환경인 세이지메이커와 최적화 기술을 결합하여 기업이 인프라 관리 부담 없이 고성능 인공지능 서비스를 구축하도록 지원합니다.

출처AWS 공식 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/parallelize-speculative-decoding-with-p-eagle-on-amazon-sagemaker-ai/)를 교차 검증했습니다.