AI 인프라 평가 기준인 토큰당 비용의 중요성

주장전통적인 데이터 센터가 데이터를 저장하고 처리하는 공간이었다면, 생성형 인공지능(AI) 시대의 데이터 센터는 토큰을 생산하는 공장으로 진화했습니다. 기업은 하드웨어 연산 능력이나 구매 비용에만 집중하지 말고, 실제 산출물인 토큰당 비용을 기준으로 인프라를 평가해야 합니다.

팩트기업이 흔히 사용하는 초당 부동소수점 연산 횟수(FLOPS) 대비 비용은 투입 지표에 불과하며 실제 토큰 출력량과는 차이가 있습니다. 토큰당 비용은 하드웨어 성능, 소프트웨어 최적화, 생태계 지원 및 실제 활용도를 모두 반영하는 유일한 총소유비용 지표입니다.

교차검증많은 기업이 인프라를 평가할 때 그래픽 처리 장치(GPU) 시간당 비용이나 최대 성능에만 집중하는 오류를 범합니다. 이는 빙산의 일각일 뿐이며, 실제 수익성을 결정짓는 요소는 하드웨어와 소프트웨어가 통합된 실제 토큰 출력량입니다.

팩트엔비디아의 블랙웰 플랫폼은 호퍼 플랫폼과 비교했을 때 시간당 비용은 2배 높지만, 토큰당 비용은 35배 낮습니다. 블랙웰은 와트당 토큰 출력량에서 호퍼 대비 50배 이상의 효율을 보입니다.

팩트딥시크-알원(DeepSeek-R1) 모델을 기준으로 분석한 결과, 엔비디아 호퍼(HGX H200)의 백만 토큰당 비용은 4.20달러입니다. 반면 블랙웰(GB300 NVL72)은 0.12달러에 불과합니다.

팩트초당 GPU별 토큰 처리량 또한 호퍼는 90개인 데 비해 블랙웰은 6,000개로 압도적인 격차를 보입니다.

주장토큰당 비용을 낮추려면 분모에 해당하는 토큰 출력량을 극대화해야 합니다. 토큰 출력량이 늘어나면 기업은 동일한 인프라 투자로 더 많은 지능형 서비스를 제공하여 수익 마진을 높입니다.

팩트인프라 평가 시 고려해야 할 심층 요소는 전문가 혼합(MoE) 모델 지원, 4비트 부동소수점(FP4) 정밀도 활용, 추론 런타임의 사변적 디코딩 지원입니다. 이러한 기술적 최적화가 통합되지 않으면 하드웨어 성능이 좋아도 실제 토큰당 비용은 상승합니다.

교차검증단순히 저렴한 GPU를 선택하는 전략은 위험합니다. 초당 토큰 처리량이 낮은 GPU를 사용하면 결과적으로 백만 토큰당 비용이 상승하여 비즈니스 수익성을 악화시킵니다.

팩트엔비디아는 브이엘엘엠(vLLM), 에스지랭(SGLang), 텐서알티-엘엘엠(TensorRT-LLM) 등 오픈 소스 추론 소프트웨어를 지속적으로 최적화합니다. 고객은 인프라 구매 이후에도 시간이 지남에 따라 토큰 출력량은 늘리고 토큰당 비용은 낮추는 효과를 누립니다.

팩트코어위브, 네비우스, 엔스케일, 투게더 AI 등 주요 클라우드 파트너들이 엔비디아 블랙웰 인프라를 도입했습니다. 이들은 최적화된 스택을 통해 기업에 업계 최저 수준의 토큰당 비용을 제공합니다.

출처엔비디아 공식 블로그(blogs.nvidia.com) 및 세미애널리시스(SemiAnalysis)의 인퍼런스엑스(InferenceX) v2 벤치마크 자료를 교차 검증했습니다.