생성형 추천 시스템 기술 전환과 엔비디아 하드웨어 대응

주장생성형 추천 시스템은 기존의 임베딩 기반 추천 방식에서 벗어나 시퀀스 모델링과 트랜스포머 아키텍처를 도입하는 구조적 전환을 맞이합니다.

팩트기존 추천 시스템은 사용자 이력 데이터를 테라바이트에서 페타바이트 단위로 처리하며, 이는 그래픽 처리 장치(GPU) 고대역폭 메모리의 한계를 초래합니다. 데이터의 희소성과 롱테일 문제로 인해 인기 아이템에만 데이터가 집중되어, 비주류 아이템에 대한 학습 신호가 부족해지는 현상이 발생합니다.

교차검증추천 시스템은 거대 언어 모델(LLM)과 달리 밀리초 단위의 엄격한 지연 시간 요구 사항을 충족해야 합니다. 따라서 생성형 모델을 적용할 때도 실시간으로 수천 개의 후보 아이템을 검색하고 순위를 매길 수 있는 효율적인 추론 아키텍처가 필수적입니다.

팩트메타가 2024년에 발표한 계층적 순차 변환 유닛(HSTU)은 생성형 추천 시스템의 기초 모델이며, 명시적인 특징 공학 없이 사용자 이력을 시퀀스로 학습합니다. 이는 거대 언어 모델의 다음 토큰 예측 방식과 유사하며, 소프트맥스 정규화 대신 실루(SiLU) 기반 가중치를 사용하여 긴 시퀀스에서도 효율적인 추론을 가능하게 합니다.

팩트구글이 도입한 시맨틱 아이디(Semantic IDs)는 아이템 임베딩을 계층적으로 클러스터링하여 새로운 어휘 토큰을 생성합니다. 이를 통해 대규모 말뭉치에서 발생하는 소프트맥스 계산 병목 현상을 줄이고, 빔 서치(Beam Search)를 통해 단일 패스에서 여러 추천 결과를 생성합니다.

주장엔비디아의 추천 시스템 예제 저장소는 생성형 추천 시스템을 위한 모듈형 구현체를 제공하여 개발자가 그래픽 처리 장치 환경에서 최적화된 학습과 추론을 수행하도록 돕습니다. 여기에는 동적 임베딩과 추천 시스템 전용 키-밸류(KV) 캐시 등이 포함되어 생산성을 높입니다.

팩트엔비디아 임베딩 캐시는 대규모 임베딩 테이블을 위한 다계층 캐싱 솔루션이며, 파이토치(PyTorch) 임베딩 레이어를 대체하여 낮은 지연 시간과 높은 처리량을 제공합니다. 이는 동시 조회 및 제거 기능을 지원하여 프로덕션 환경의 추천 시스템 성능을 최적화합니다.

교차검증기존의 정적 임베딩 테이블은 새로운 사용자나 아이템이 지속적으로 추가되는 환경에서 메모리 낭비나 성능 저하를 유발합니다. 엔비디아의 동적 임베딩은 점수 기반 해시 테이블을 사용하여 이러한 정적 테이블의 한계를 극복하고 메모리 효율을 개선합니다.

주장생성형 추천 시스템으로의 전환은 추천과 검색을 단일 모델 내에서 통합할 수 있는 가능성을 제시합니다. 이는 빠르게 진화하는 거대 언어 모델 생태계와 자연스럽게 결합하여 추천 시스템의 확장성과 범용성을 동시에 확보하는 전략적 방향입니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/how-generative-recommenders-are-redefining-recsys-at-scale/)의 보도를 교차 검증했습니다.