MIT, 세계 최대 수학 올림피아드 데이터셋 매스넷 공개

주장매사추세츠공과대학교(MIT) 연구진은 인공지능의 수학적 추론 한계를 시험하고 전 세계 학생들에게 고품질 학습 자료를 제공하고자 매스넷(MATH-NET)을 구축했습니다. 파편화된 경시대회 문제들을 체계적으로 수집하고 정제하여 누구나 접근할 수 있도록 공개한 것이 이번 프로젝트의 핵심입니다.

팩트매스넷은 47개국, 17개 언어, 143개 대회를 아우르는 3만 개 이상의 전문가 작성 문제와 해설을 포함합니다. 이는 기존 데이터셋보다 5배 큰 규모이며 40년에 걸친 수학 경시대회 역사를 담고 있습니다.

팩트데이터 구축 과정에서 1,595개의 PDF 문서와 25,000페이지 이상의 자료를 수집했습니다. 특히 2006년부터 자료를 수집해온 나비드 사파이의 아카이브가 데이터셋의 중추적인 역할을 했습니다.

주장매스넷은 단순히 문제의 양을 늘리는 데 그치지 않고 전 세계 수학 커뮤니티의 다양한 문제 해결 전통을 반영합니다. 특정 국가에 편중된 기존 데이터셋의 한계를 극복하고 수학적 사고의 다양성을 확보하는 것이 목표입니다.

팩트연구진은 아르메니아, 러시아, 우크라이나, 베트남, 폴란드 등 다양한 국가 출신의 평가자 30여 명을 구성하여 데이터의 정확성을 검증했습니다. 전문가가 작성하고 동료 평가를 거친 해설은 인공지능이 수학적 추론을 학습하는 데 풍부한 정보를 제공합니다.

주장매스넷은 인공지능이 서로 다른 언어와 표기법 속에서도 동일한 수학적 구조를 파악할 수 있는지 확인하는 벤치마크로 활용됩니다. 이는 인공지능이 단순히 답을 암기하는 것이 아니라 수학적 본질을 이해하고 있는지 평가하는 척도가 됩니다.

팩트연구진이 8개의 최첨단 임베딩 모델을 테스트한 결과, 수학적 구조가 같은 문제를 찾아내는 능력은 낮게 나타났습니다. 가장 성능이 좋은 모델조차 첫 시도에서 정답을 맞힐 확률은 5%에 불과했습니다.

교차검증인공지능 모델의 수학적 성능이 뛰어나다는 평가가 많지만, 매스넷을 통한 검증 결과는 다릅니다. 최상위 모델인 GPT-5조차 매스넷의 핵심 벤치마크에서 약 69.3%의 정답률을 기록하며 3분의 1가량의 문제를 해결하지 못했습니다.

교차검증시각적 요소가 포함된 문제에서 인공지능 모델의 성능은 현저히 떨어집니다. 또한 몽골어와 같은 비주류 언어 문제에서는 일부 오픈소스 모델이 0%의 정답률을 기록하며 언어적 편향성 문제를 드러냈습니다.

출처MIT 뉴스룸(https://news.mit.edu/2026/mit-scientists-build-worlds-largest-collection-olympiad-level-math-problems-open-0424)을 교차 검증했습니다. 본 연구는 MIT 컴퓨터과학·인공지능연구소(CSAIL), 킹압둘라과학기술대학교(KAUST), 휴메인(HUMAIN)이 공동으로 수행했으며 이달 말 브라질에서 열리는 국제학습표현학회(ICLR)에서 발표됩니다.