대형 언어 모델의 희귀 기술 학습 원리 규명

주장앤스로픽과 스탠퍼드 대학 공동 연구진은 대형 언어 모델이 소형 모델보다 특정 과제를 더 잘 학습하는 근본적인 원인을 규명했습니다. 모델의 크기가 단순히 학습 속도를 높이는 것이 아니라, 데이터 내 과제 간 우선순위 경쟁에서 대형 모델이 유리한 위치를 점하기 때문입니다.

팩트연구진은 400만 개에서 40억 개의 매개변수를 가진 오엘엠오(OLMo) 모델을 활용하여 최대 2,100억 개의 토큰을 학습시켰습니다. 실험 결과, 전체 훈련 데이터의 0.25%에 불과한 희귀 과제는 충분한 규모를 갖춘 모델에서만 성공적으로 학습되었습니다.

팩트소형 모델은 빈번한 과제를 학습하는 과정에서 희귀 과제 정보를 지속적으로 덮어쓰는 업데이트-망각 루프에 빠집니다. 반면 대형 모델은 빈번한 과제를 빠르게 습득한 뒤 남는 용량을 희귀 과제 학습에 할당합니다.

팩트연구진은 숫자 비교와 모듈러 덧셈이라는 두 가지 인공 과제를 데이터에 혼합하여 실험했습니다. 대형 모델은 예제 암기를 넘어 규칙을 이해하고 새로운 사례에 적용하는 일반화 능력을 보였습니다.

팩트모듈러 덧셈 실험 과정에서 그로킹(grokking) 현상이 관찰되었습니다. 이는 모델이 초기에는 과제를 암기하다가 특정 시점에 도달하면 갑자기 원리를 깨닫고 학습 성능이 급격히 향상되는 현상을 의미합니다.

주장이번 연구는 암기를 일반화를 위한 필수적인 징검다리로 해석합니다. 모델이 개별 관찰 내용을 충분히 오래 유지해야만 여러 배치에 걸쳐 더 넓은 패턴을 형성할 수 있기 때문입니다.

팩트2,000만 개의 매개변수를 가진 소형 모델에서는 희귀 과제에 대한 학습 신호가 다른 데이터의 노이즈에 묻혀 학습이 거의 이루어지지 않았습니다. 반면 10억 개의 매개변수를 가진 모델에서는 희귀 과제에 대한 신호가 명확하게 학습 방향으로 작용했습니다.

교차검증모델의 크기를 무작정 키우는 방식은 비용과 자원 측면에서 비효율적일 수 있습니다. 연구진은 모델 확장 대신 훈련 데이터 내 특정 과제 빈도를 인위적으로 높여 희귀 기술을 모델에 고정하는 방식이 더 효율적일 수 있다고 강조합니다.

교차검증모델 크기가 성능에 미치는 영향에 대해서는 다양한 이론이 존재합니다. 지난 5월 매사추세츠 공과대학교(MIT) 연구진은 모델의 기하학적 구조가 차원보다 더 많은 개념을 저장하게 하는 중첩(superposition) 현상과 스케일링 법칙을 연결한 바 있습니다.

주장연구진은 대형 언어 모델의 성능 향상이 단순히 규모의 경제에 의존하지 않는다는 점을 시사합니다. 데이터 구성과 학습 전략의 최적화가 모델의 효율성을 결정하는 핵심 요소입니다.

주장이번 연구 결과는 향후 인공지능 모델 설계 시 데이터 효율성을 극대화하는 방향으로 기술적 전환이 필요함을 보여줍니다. 모델의 크기보다 데이터의 질적 관리가 우선되어야 합니다.

출처2026년 6월 7일 조나단 켐퍼가 작성한 디코더(The Decoder) 기사를 통해 해당 연구 내용을 교차 검증했습니다.