中 문샷 AI, 모든 LLM의 구조적 결함을 해결하는 기술 공개

팩트모든 AI 모델에는 근본적 결함이 있습니다. LLM은 수백 개의 레이어가 층층이 쌓인 구조입니다. 문제는 각 레이어가 바로 앞 레이어의 결과값만 받아 처리한다는 점입니다. 100번째 레이어가 1번째 레이어에서 처리한 내용을 직접 참조할 방법이 없었습니다. 레이어를 많이 거칠수록 초반 정보가 점점 묽어집니다. 마치 가족오락관에서 말을 전달하는 게임처럼 맨 처음 사람의 말이 끝으로 가서는 변질되는 현상입니다.

주장Kimi 팀은 이 문제를 '어텐션 잔차(Attention Residuals, AttnRes) 기술로 해결했습니다. 핵심 아이디어는 간단합니다. 각 레이어가 바로 앞 레이어 하나만 보는 것이 아니라, 모든 이전 레이어를 한꺼번에 훑고 지금 필요한 정보를 골라 가져오도록 설계했습니다. 사람이 책을 읽을 때 앞 페이지를 필요하면 다시 펼쳐 보듯, AI도 이전 처리 결과를 선택적으로 다시 참조합니다. 추가 비용도 미미합니다. 레이어마다 작은 벡터, 즉 요약 하나만 추가하면 구현됩니다.

주장코딩, 수학, 다단계 추론 등 모든 평가 항목에서 기존 모델을 압도했습니다. GPQA-Diamond(대학원 수준 과학 문제) +7.5포인트, HumanEval(코딩) +3.1포인트, Math(수학) +3.6포인트 등의 결과가 나타났습니다.

주장특히. 여러 단계를 거쳐 추론해야 하는 문제에서 개선이 컸습니다. 이는 초반 레이어의 정보를 후반 레이어가 다시 끌어다 쓸 수 있어야 복잡한 문제를 잘 풀 수 있다는 것을 증명합니다.

주장이번 논문은 모든 LLM에 적용될 가능성이 높습니다. 다음 세대 AI 모델의 추론 능력은 지금 모델보다 근본적으로 앞설 것입니다.

교차검증실제 서비스에서 응답 속도는 기존 대비 2% 미만 차이입니다. 대규모 서버 환경에서는 구현 복잡도가 높아지는 과제가 남아 있습니다. Moonshot AI와 관련해서는 논란도 있습니다. Anthropic은 Moonshot AI, DeepSeek, MiniMax가 Claude 모델 출력을 무단으로 추출해 자사 모델 학습에 활용했다고 주장한 바 있습니다. 본 논문은 arXiv 사전공개(preprint) 상태로 동료심사를 거치지 않았습니다.

팩트이번 논문을 발표한 Moonshot AI는 2023년 3월 베이징에서 설립된 중국 AI 스타트업입니다. 창업자 양즈린(Yang Zhilin)은 칭화대 교수 출신으로 Meta와 Google에서 AI 연구를 수행했습니다. 알리바바, 텐센트, 5Y Capital이 주요 투자자입니다. 2026년 3월 기준 기업가치 180억 달러(약 26조 원) 평가로 10억 달러 추가 펀딩을 추진 중입니다.

팩트중국 역사상 가장 빠르게 데카콘(기업가치 100억 달러 이상)에 도달한 기업입니다. Kimi K2.5 모델 출시 후 20일간 누적 매출이 2025년 전체 매출을 넘어섰고, 해외 매출이 국내 매출을 추월했습니다. 2026년 1월 기준 글로벌 LLM 순위에서 Kimi K2.5는 Claude, GPT-5, Gemini에 이어 4위에 올랐습니다.

출처Kimi Team. (2026). Attention Residuals. arXiv:2603.15031. https://arxiv.org/abs/2603.15031 / Bloomberg. (2026.03.14). China AI Startup Moonshot Snags Funds at $18 Billion Valuation. / GitHub: https://github.com/MoonshotAI/Attention-Residuals