거대언어모델(LLM)의 비디오 게임 플레이 한계와 원인

주장거대언어모델(LLM)은 코딩과 같은 특정 작업에서 탁월한 성과를 내지만, 비디오 게임을 플레이하는 능력은 낮은 수준에 머물러 있습니다. 이는 인공지능이 게임 환경을 이해하고 실시간으로 상호작용하는 데 구조적인 한계가 있음을 보여줍니다.

팩트2025년 5월 구글의 제미나이 2.5 프로가 포켓몬 블루를 완주한 사례가 있으나 이는 예외적인 경우입니다. 당시 인공지능은 인간보다 훨씬 느린 속도로 게임을 진행했고, 반복적인 실수를 범했으며 별도의 맞춤형 소프트웨어 지원이 필요했습니다.

팩트코딩은 명확한 사양과 즉각적인 보상 체계가 존재하는 잘 설계된 구조를 갖추고 있습니다. 거대언어모델은 코딩 과정의 오류를 수정하는 데 능숙하지만, 비디오 게임 플레이에 필수적인 공간 추론 능력은 학습 데이터 부족으로 인해 성능이 저하됩니다.

주장비디오 게임은 현실 세계보다 다양하고 복잡한 규칙을 포함하고 있어 인공지능 학습을 어렵게 만듭니다. 현실 세계는 일정한 물리 법칙을 따르지만, 각 게임은 서로 완전히 다른 환경과 메커니즘을 가지고 있어 범용 모델을 적용하기 어렵습니다.

팩트웨이모와 같은 자율주행 기업은 시뮬레이션을 활용해 인공지능을 학습시키지만, 이는 운전이라는 일관된 물리 환경 내에서 이루어집니다. 반면 헤일로와 스페이스 인베이더처럼 서로 차이가 큰 게임들을 하나의 모델이 모두 대응하기에는 데이터의 다양성이 너무 높습니다.

교차검증줄리안 토겔리우스 뉴욕대 게임 혁신 연구소장은 현재의 인공지능이 범용 게임 인공지능으로 발전하기 어렵다고 지적합니다. 알파제로와 같은 기존 모델은 특정 게임에 최적화된 재학습과 재설계가 필요하며, 게임마다 다른 입력 방식과 메커니즘을 포괄하지 못합니다.

교차검증게임 개발에는 반복적인 테스트와 게임의 느낌을 조정하는 과정이 필수적이지만, 현재의 거대언어모델은 스스로 게임을 플레이하며 피드백을 얻지 못합니다. 따라서 모델이 생성한 게임은 기존에 학습된 전형적인 코드의 조합일 뿐, 독창적이거나 완성도 높은 결과물을 만드는 데 한계가 있습니다.

팩트줄리안 토겔리우스는 과거 7년간 일반 비디오 게임 인공지능 대회를 운영했으나, 모델별로 성능 편차가 심하고 발전이 정체되어 대회를 중단했습니다. 최신 거대언어모델조차 단순한 탐색 알고리즘보다 게임 플레이 성능이 떨어집니다.

교차검증대중은 거대언어모델이 양자역학 논문을 작성하는 것을 보고 게임도 쉽게 수행할 것이라 기대하지만, 이는 언어적 지식과 공간적·물리적 상호작용 능력을 혼동한 결과입니다. 인공지능의 언어 처리 능력과 게임 플레이 능력은 별개의 영역으로 보아야 합니다.

출처IEEE Spectrum, "Why Are Large Language Models so Terrible at Video Games?", https://spectrum.ieee.org/ai-video-games-llms-togelius