마이크로소프트, AI 성능 예측 방법론 ADeLe 개발

주장기존 인공지능 벤치마크는 특정 작업의 결과만 나열할 뿐 모델의 근본적인 능력이나 실패 원인을 설명하지 못합니다. 마이크로소프트 연구진은 작업과 모델을 동일한 능력 지표로 평가하는 새로운 방법론인 ADeLe를 도입했습니다.

팩트ADeLe는 주의력, 추론, 도메인 지식 등 18가지 핵심 능력을 기준으로 작업을 0점에서 5점까지 점수화합니다. 연구진은 이 점수를 활용해 모델의 강점과 약점을 구조적으로 파악하는 능력 프로필을 생성합니다.

팩트연구진은 15개 거대 언어 모델을 대상으로 18가지 능력에 대한 프로필을 구축했습니다. 모델이 50%의 성공 확률을 보이는 난이도를 해당 능력의 점수로 산정하여 객관적인 지표를 마련했습니다.

팩트GPT-4o 및 Llama-3.1 등 주요 모델을 대상으로 실험한 결과, 새로운 작업에 대한 성능을 약 88%의 정확도로 예측했습니다. 이는 단순한 기존 벤치마크 방식보다 높은 예측력을 보입니다.

교차검증기존 벤치마크는 측정하려는 능력을 제대로 분리하지 못하거나 특정 난이도에만 치중되는 한계를 가집니다. 논리 추론 테스트가 실제로는 전문 지식이나 메타인지에 과도하게 의존하는 경우도 발생합니다.

주장인공지능 모델의 성능은 작업 난이도에 따라 급격히 변합니다. 동일한 모델도 쉬운 문제에서는 90% 이상의 점수를 기록하지만 어려운 문제에서는 15% 미만으로 하락합니다. 이는 모델의 능력이 변하는 것이 아니라 작업 요구 사항의 차이 때문입니다.

팩트추론 중심 모델인 OpenAI의 o1 등은 논리 및 수학 분야에서 성과를 보이지만, 작업 요구 사항이 높아질수록 성능이 하락합니다. ADeLe는 각 모델이 어느 지점에서 성능 한계에 도달하는지를 정확히 식별합니다.

교차검증인공지능 시스템이 실제로 추론을 수행할 수 있는지에 대한 논쟁은 여전히 지속됩니다. ADeLe는 작업 요구 사항을 정밀하게 제어하여 모델의 실제 역량을 분석함으로써 이러한 논쟁의 해결책을 제시합니다.

주장ADeLe는 앞으로 멀티모달 및 체화된 인공지능 시스템으로 확장될 가능성이 큽니다. 이 방법론은 인공지능 연구와 정책 수립, 보안 감사를 위한 표준화된 평가 프레임워크로 활용됩니다.

팩트본 연구는 네이처 학술지에 게재되었으며 마이크로소프트의 AFMR 보조금 프로그램의 지원을 받았습니다. 추가적인 실험 데이터와 벤치마크 주석은 깃허브를 통해 공개합니다.

출처https://www.microsoft.com/en-us/research/blog/adele-predicting-and-explaining-ai-performance-across-tasks/