대규모 언어 모델의 기억력 한계 돌파, 메모리 디코더 확장 기술 공개

주장루빈 웨이(Rubin Wei)를 포함한 연구진은 대규모 언어 모델(LLM)의 기억력과 추론 능력을 분리하여 확장하는 새로운 접근법을 제시했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

팩트기존 디코더 전용 모델은 장기 기억과 추론 능력을 하나의 파라미터(매개변수) 집합에 통합합니다. 이 구조는 기억 용량만 독립적으로 늘리기 어렵다는 한계를 가집니다.

팩트연구진은 메모리 디코더를 69억 개의 파라미터 규모로 확장하고 3천억 개의 토큰으로 사전 학습을 진행했습니다. 이는 기존 연구보다 훨씬 큰 규모의 데이터셋을 활용한 결과입니다.

팩트연구진은 대규모 데이터 처리 과정에서 발생하는 병목 현상을 해결하기 위해 분산형 파이스(Faiss) 인덱싱 및 검색 파이프라인을 구축했습니다. 파이스는 대규모 데이터에서 유사도 검색을 수행하는 라이브러리입니다.

팩트연구진은 희소 배치 단위의 kNN(k-최근접 이웃) 분포 로딩 방식을 도입하여 연산 효율을 높였습니다. kNN은 데이터 간 유사성을 기반으로 정보를 추출하는 알고리즘입니다.

교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review)를 거치지 않았습니다. 연구 결과의 신뢰성은 향후 학술적 검증 과정을 통해 확인될 예정입니다.

주장연구진은 메모리 전용 파라미터를 늘리는 방식이 기본 모델의 크기만 키우는 것보다 훨씬 효율적이라고 주장합니다. 이는 파라미터 대비 성능 지표에서 우위를 점합니다.

팩트성능 실험 결과, 69억 개의 범용 메모리를 파이시아(Pythia)-4억 1천만 모델과 결합했을 때 평균 점수가 29.86점에서 37.34점으로 상승했습니다. 이는 파이시아-120억 모델의 성능인 37.24점을 상회하는 수치입니다.

팩트이 조합은 파이시아-120억 모델 대비 전체 파라미터 수를 39% 절감하면서도 더 높은 성능을 기록했습니다. 모델의 경량화와 고성능화를 동시에 달성한 셈입니다.

팩트큐웬(Qwen)3 기반 모델 실험에서도 17억 개의 도메인 메모리를 추가했을 때 모든 규모에서 평균 점수가 9점 이상 향상되었습니다. 특정 분야에 특화된 기억 장치가 모델의 지능을 효과적으로 보완함을 입증했습니다.

교차검증다만, 이번 연구는 특정 벤치마크 데이터셋에 최적화된 결과를 보고하고 있습니다. 실제 복잡하고 방대한 실무 환경에서의 범용성이나 데이터 편향성 문제는 추가적인 검증이 필요합니다.

주장이번 연구는 언어 모델의 성능을 높이는 가장 효율적인 경로가 모델 전체를 키우는 것이 아니라, 독립적인 사전 학습 메모리를 확장하는 데 있음을 시사합니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.27919)을 참고했습니다.