거대언어모델 중재 능력 평가 프레임워크 'SoCRATES' 공개

팩트윤태원, 박현성, 최정환 등 국내 연구진은 거대언어모델(LLM)의 중재 능력을 객관적으로 측정하는 벤치마크인 'SoCRATES'를 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장기존의 인공지능 중재 평가 방식은 전문가가 작성한 제한된 시나리오에 의존한다는 한계가 있었습니다. 연구진은 실제 갈등 데이터를 기반으로 중재 과정을 실시간으로 평가하는 새로운 접근법을 제시했습니다.

팩트SoCRATES는 8개 도메인에서 갈등 시나리오를 구성합니다. 또한 전략적 태도, 당사자 구성, 대화 이력 길이, 감정 반응성, 문화적 정체성 등 5가지 사회 인지적 적응 축을 기준으로 모델을 평가합니다.

주장이번 연구의 핵심은 '토픽 지역화 평가자(Topic-localized Evaluator)' 도입입니다. 이는 대화 전체를 평가하는 대신, 특정 주제가 논의되는 시점만을 선별하여 점수를 매김으로써 불필요한 소음(Off-topic noise)을 제거합니다.

팩트연구진이 개발한 평가자는 인간 전문가와의 정렬(Alignment) 점수에서 0.82를 기록했습니다. 이는 기존의 턴 단위(Per-turn) 평가 방식보다 2배 이상 높은 정확도입니다.

팩트연구진은 8개의 최신 거대언어모델을 대상으로 성능을 시험했습니다. 가장 우수한 성능을 보인 모델조차 중재가 없는 상태와 비교했을 때 합의 도출 격차를 3분의 1 수준으로 줄이는 데 그쳤습니다.

주장모델의 중재 성능은 사회 인지적 조건에 따라 큰 편차를 보였습니다. 이는 인공지능이 다양한 사회적 맥락에 적응하는 능력을 더 고도화해야 함을 시사합니다.

교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 정식 동료 평가(Peer review) 과정을 거치지 않았습니다. 따라서 제시된 성능 수치와 방법론은 향후 학술적 검증이 필요합니다.

교차검증SoCRATES가 사용하는 8개 도메인의 데이터셋이 실제 인간의 모든 갈등 양상을 완벽하게 대변하는지 확인하기 어렵습니다. 특정 문화권이나 언어적 편향이 결과에 영향을 미쳤을 가능성을 배제할 수 없습니다.

주장인공지능이 단순한 정보 제공자를 넘어 갈등을 해결하는 중재자로 거듭나기 위해서는 사회적 맥락 이해가 필수적입니다. 이번 연구는 인공지능의 사회적 지능(Social Intelligence)을 측정하는 중요한 이정표가 될 것입니다.

팩트연구진은 이번 벤치마크를 통해 인공지능이 복잡한 인간 관계 속에서 어떻게 전략적으로 대응하는지 정량적으로 분석했습니다. 결과적으로 모델의 사회적 적응력이 중재 성공의 핵심 변수임을 입증했습니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.05563)을 참고했습니다.