MIT, 학습 중 AI 모델 경량화하는 CompreSSM 개발

주장MIT 연구진은 인공지능 모델의 학습 단계에서 불필요한 복잡성을 제거해 비용을 줄이는 새로운 기술인 CompreSSM을 발표했습니다. 이 기술은 모델을 완성한 뒤 압축하는 기존 방식의 한계를 극복하고 학습 중에 스스로 효율적인 구조를 찾습니다.

팩트CompreSSM은 상태 공간 모델(State-Space Models, SSM)을 대상으로 하며 제어 이론의 수학적 도구를 활용합니다. 연구진은 학습 초기 10% 단계에서 행켈 특이값(Hankel singular values)을 측정하여 모델 내부 상태의 중요도를 판별합니다.

팩트연구 결과에 따르면 이미지 분류 벤치마크에서 CompreSSM을 적용한 모델은 기존 모델과 유사한 정확도를 유지하면서 학습 속도가 최대 1.5배 빨라졌습니다. 특히 맘바(Mamba) 아키텍처에서는 128차원 모델을 12차원으로 압축하면서 약 4배의 학습 속도 향상을 달성했습니다.

교차검증기존 가지치기(Pruning) 방식은 거대 모델을 먼저 학습시킨 뒤 매개변수를 제거하므로 학습 비용이 그대로 발생합니다. 지식 증류(Knowledge Distillation) 방식 또한 교사 모델과 학생 모델을 모두 학습시켜야 하므로 전체 학습 노력이 두 배로 듭니다.

팩트CompreSSM은 행켈 핵 규제(Hankel nuclear norm regularization) 방식과 비교했을 때 40배 이상 빠른 속도를 보였습니다. 기존 규제 방식은 매 경사 하강 단계마다 고비용의 고유값 계산이 필요하여 학습 속도가 16배가량 느려지는 문제가 있습니다.

주장연구진은 웨일의 정리(Weyl's theorem)를 통해 학습 중 모델 상태의 중요도가 안정적으로 유지됨을 수학적으로 증명했습니다. 이를 통해 학습 초기에 중요하지 않다고 판단된 요소가 나중에 중요해질 위험이 없음을 확인했습니다.

교차검증CompreSSM은 내부 상태 차원과 성능 간의 상관관계가 강한 모델에서 가장 효과적입니다. 단일 입력 및 단일 출력 아키텍처에서는 상태 차원 변화에 따른 성능 향상 폭이 상대적으로 작게 나타날 수 있습니다.

팩트이 기술은 성능 저하가 발생할 경우를 대비한 안전장치를 포함합니다. 사용자는 성능 저하가 발생하면 이전에 저장된 체크포인트로 되돌릴 수 있어 에너지 임계값을 설정하는 것보다 직관적인 제어가 가능합니다.

주장이번 연구는 선형 시불변 시스템을 넘어 입력 의존적이고 시간에 따라 변하는 아키텍처로 확장할 가능성을 보여줍니다. 앞으로 트랜스포머(Transformer) 아키텍처의 대안으로 주목받는 선형 어텐션 메커니즘에도 적용할 수 있을 것으로 기대합니다.

출처MIT News의 2026년 4월 9일 자 보도 내용을 교차 검증했습니다. (https://news.mit.edu/2026/new-technique-makes-ai-models-leaner-faster-while-still-learning-0409)