MIT, AI 모델의 불확실성 인지 훈련 기법 개발

주장인공지능 모델이 모든 질문에 과도한 확신을 보이며 답변하는 현상은 모델 훈련 방식의 근본적인 결함에서 기인합니다. 모델이 자신의 답변에 대해 '확신할 수 없음'을 표현하도록 훈련하는 과정이 AI 신뢰성 확보의 핵심입니다.

팩트매사추세츠 공과대학교(MIT) 컴퓨터 과학 및 인공지능 연구소(CSAIL)는 '보정 보상을 통한 강화학습(RLCR)'이라는 새로운 훈련 기법을 개발했습니다. 이 기술은 인공지능이 답변과 함께 자신의 불확실성을 고려한 확신도 점수를 출력하도록 설계했습니다.

팩트RLCR 기법을 적용한 결과, 여러 벤치마크 테스트에서 보정 오류가 최대 90퍼센트까지 감소했습니다. 모델은 훈련 과정에서 경험하지 못한 새로운 작업에서도 정확도를 유지하거나 오히려 향상하는 성과를 보였습니다.

교차검증기존 강화학습은 정답 여부에 따라 보상과 벌점을 주는 이분법적 구조를 따릅니다. 이 방식은 모델이 근거가 부족한 상황에서도 정답을 추측하도록 유도하며, 결과적으로 모델에 과도한 자신감을 심어줍니다.

팩트연구진은 보상 함수에 '브라이어 점수(Brier score)'를 추가하여 모델이 자신의 확신도와 실제 정확도 사이의 간극을 줄이도록 유도했습니다. 모델은 정답을 맞히는 것뿐만 아니라 자신이 모르는 것을 인지하는 과정에서도 보상을 받습니다.

교차검증일반적인 강화학습은 모델의 보정 능력을 저하시키는 부작용을 동반합니다. 연구진은 표준 강화학습이 모델을 더 유능하게 만드는 동시에 더 오만하게 만든다는 사실을 확인했습니다.

주장인공지능이 자신의 불확실성을 스스로 추론하는 능력은 단순한 부가 기능을 넘어 실제적인 정보를 담고 있습니다. 이러한 자기 성찰적 추론은 모델이 아는 것과 모르는 것을 명확히 구분하게 하여 시스템의 신뢰성을 근본적으로 개선합니다.

팩트연구진은 70억 개의 매개변수를 가진 모델을 대상으로 실험을 진행했습니다. 모델이 생성한 여러 후보 답변 중 확신도가 가장 높은 것을 선택하는 방식이 정확도 향상에 효과적임을 입증했습니다.

팩트이번 연구 결과는 이달 말 개최되는 국제 학습 표현 학회(ICLR)에서 발표됩니다. 연구에는 메훌 다마니, 이샤 푸리 박사 과정 학생과 제이콥 안드레아스, 윤김 교수가 참여했습니다.

팩트이 기술은 금융, 의료, 법률 등 정밀한 판단이 필요한 분야에서 인공지능의 오류 위험을 낮추는 데 기여할 전망입니다.

출처MIT 뉴스룸 및 MIT CSAIL 연구 논문 "Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty"를 교차 검증했습니다.