허깅페이스의 인공지능 모델 평가 결과 통합 및 표준화 추진

주장허깅페이스는 에브리 이발 에버(Every Eval Ever, EEE)와 커뮤니티 평가 시스템을 상호 호환되도록 통합합니다. 이번 통합은 파편화된 인공지능 모델 평가 결과를 표준화하고 데이터 신뢰성을 확보하는 것을 목표로 합니다.

팩트에브리 이발 에버는 2026년 2월 이발이발 연합(EvalEval Coalition)이 시작한 프로젝트입니다. 허깅페이스는 같은 시기에 커뮤니티 평가 기능을 출시하여 벤치마크 점수 보고의 탈중앙화를 추진했습니다.

교차검증현재 인공지능 모델 평가 데이터는 논문과 리더보드, 블로그 등 다양한 경로에 흩어져 있어 직접 비교가 어렵습니다. 동일한 모델이라도 평가 방식에 따라 점수가 달라지는 등 평가 환경의 불투명성이 문제로 지적됩니다.

팩트에브리 이발 에버는 평가 주체와 모델 정보, 생성 설정, 메트릭 의미를 포함하는 단일 제이슨(JSON) 스키마를 사용합니다. 현재 허깅페이스 데이터 저장소에는 2만2000개 이상의 모델과 2200개 이상의 벤치마크에 대한 22만9000개의 평가 결과가 축적되어 있습니다.

주장평가 데이터를 재현하는 과정에는 막대한 비용이 발생합니다. 한 번 생성된 데이터를 유실하지 않고 표준화된 형태로 보존하는 작업이 중요합니다.

주장허깅페이스는 평가 결과를 모델 페이지와 리더보드에 직접 연결하는 방식을 채택하여 데이터 접근성을 높입니다.

팩트허깅페이스의 커뮤니티 평가는 모델 저장소 내 이발 리절트(eval_results) 폴더의 야믈(YAML) 파일을 통해 점수를 관리합니다. 모델 작성자나 커뮤니티 기여자가 제출한 점수는 리더보드에 집계되며, 출처에 따라 인증 배지를 부여합니다.

주장에브리 이발 에버와 커뮤니티 평가의 연동은 평가 결과의 가독성과 해석 가능성을 동시에 해결합니다. 허깅페이스는 모델 페이지에서 결과를 시각화하고, 에브리 이발 에버는 상세한 생성 설정과 재현성 데이터를 제공합니다.

팩트허깅페이스는 에브리 이발 에버 기록을 커뮤니티 평가용 야믈 파일로 자동 변환하는 도구를 제공합니다. 이 도구는 엠엠엘유-프로(MMLU-Pro), 지피큐에이(GPQA), 에이치엘이(HLE), 지에스엠에이트케이(GSM8K) 등 주요 벤치마크를 지원합니다.

팩트해당 도구는 데이터 충돌 여부를 사전에 검사합니다.

교차검증변환 도구는 자동으로 풀 리퀘스트를 생성하기 전에 기존 데이터를 감사하고 충돌 여부를 확인합니다. 사용자의 최종 승인 없이는 어떠한 데이터도 모델 저장소에 반영되지 않도록 설계되었습니다.

출처허깅페이스 공식 블로그 및 이발이발 연합 공식 문서를 교차 검증했습니다.