실시간 게임 엔진 구현을 위한 생성형 월드 렌더러 ‘AlayaRenderer-Flash’ 공개

주장구이슈 린(Guixu Lin)을 포함한 연구진이 실시간으로 가상 세계를 생성하는 ‘AlayaRenderer-Flash’를 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

팩트기존 모델인 ‘AlayaRenderer’는 초당 0.56프레임(FPS)의 속도로 구동되어 실시간 서비스에 한계가 있었습니다. 이번에 개발된 ‘AlayaRenderer-Flash’는 초당 31.54프레임의 속도를 기록하며 실시간 게임 환경 수준의 성능을 확보했습니다.

팩트연구진은 기존 모델을 몇 단계의 자기회귀 스트리밍 모델(Autoregressive Streaming Model, 이전 데이터를 바탕으로 다음 프레임을 순차적으로 예측하는 방식)로 재설계했습니다. 또한 경량화된 증류 코덱(Distilled Codecs, 복잡한 모델의 지식을 작은 모델로 압축하는 기술)을 도입하여 잠재 공간(Latent Space, 데이터의 핵심 특징을 압축하여 표현하는 다차원 공간) 내 효율적인 인코딩과 프레임 재구성을 달성했습니다.

주장이번 기술은 텍스트나 제어 신호에 의존하는 기존 생성 모델과 차별화됩니다. 물리 엔진에서 추출한 구조화된 세계 상태를 직접 입력받아 RGB 프레임을 생성하므로, 물리 법칙을 왜곡하지 않고 장면의 구조를 정밀하게 유지합니다.

팩트해당 모델은 교사 모델(Teacher Model, 지식을 전달하는 원본 모델)의 G-버퍼(G-buffer, 렌더링 과정에서 깊이, 색상, 법선 등 기하학적 정보를 저장하는 버퍼)와 텍스트 프롬프트 인터페이스를 그대로 유지합니다. 이를 통해 사용자는 입력 스트림의 길이에 제한 없이 연속적인 렌더링을 수행할 수 있습니다.

교차검증본 연구는 아카이브(arxiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 엄밀함은 향후 검증이 필요합니다.

교차검증기술적 한계로 일반화 가능성(Generalizability) 문제를 지적할 수 있습니다. 특정 물리 엔진 데이터에 최적화된 모델이 다양한 환경이나 복잡한 물리 상호작용에서도 동일한 성능과 일관성을 유지할 수 있을지는 추가적인 연구가 요구됩니다.

팩트연구진은 콘텐츠 보존성, 시간적 일관성, 창 간 안정성, 프롬프트 제어 가능성, 런타임 효율성 등 5가지 지표를 중심으로 모델을 평가했습니다. 실험 결과, 추론 비용을 대폭 절감하면서도 원본 모델의 핵심 렌더링 성능을 성공적으로 보존했습니다.

주장이번 성과는 생성형 인공지능이 게임 엔진과 결합하여 사용자와 상호작용하는 새로운 방향성을 제시합니다. 물리 엔진과 결합한 ‘AlayaRenderer-Flash’는 실제 게임 플레이가 가능한 수준의 생성형 세계를 구현합니다.

팩트연구진은 이번 모델을 통해 초당 30프레임으로 구동되는 완전한 형태의 생성형 월드를 구축했습니다. 이는 복잡한 연산이 필요한 생성형 모델을 실시간 환경에 적용한 의미 있는 사례입니다.

주장앞으로 연구진은 더 다양한 물리 엔진과의 호환성을 확보하고, 더욱 정교한 텍스처와 조명 효과를 실시간으로 생성하는 방향으로 기술을 고도화할 계획입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.18703)을 참고했습니다.