AI 에이전트의 사회적 추론 능력 평가 벤치마크 도입

주장인공지능 에이전트가 달력 관리나 구매 협상 같은 사회적 맥락에서 활동하려면 단순한 작업 수행 능력을 넘어선 사회적 추론 능력이 필수적입니다. 에이전트는 사용자의 의도를 파악하고 상대방과의 이해관계를 조정하며 정보를 보호하는 능력을 갖추어야 합니다.

팩트마이크로소프트 리서치는 '소셜 리즈닝 벤치(SocialReasoning-Bench)'를 통해 AI 에이전트가 사용자를 대신해 협상하는 능력을 평가합니다. 이 벤치마크는 달력 조정과 시장 협상이라는 두 가지 현실적인 시나리오를 바탕으로 에이전트의 성능을 측정합니다.

팩트평가 지표는 결과 최적성과 주의 의무 두 가지로 나뉩니다. 결과 최적성은 에이전트가 사용자에게 얼마나 많은 가치를 확보했는지를 측정하며, 주의 의무는 에이전트가 유능한 의사결정 과정을 따랐는지 평가합니다.

교차검증현재의 최첨단 AI 모델은 작업을 완료하는 데는 능숙하지만, 사용자의 이익을 극대화하는 데는 한계를 보입니다. 명시적인 지침을 제공하더라도 신뢰할 수 있는 대리인으로서 기대되는 수준에 미치지 못하는 경우가 많습니다.

팩트과거 연구에 따르면 시뮬레이션된 다중 에이전트 시장에서 모델들은 대안을 탐색하지 않고 첫 번째 제안을 93%의 확률로 수락했습니다. 또한 악의적인 메시지가 유입될 경우 에이전트가 개인 정보를 부주의하게 공개하는 취약점도 확인되었습니다.

주장경제학 및 법학의 본인-대리인 관계에서 대리인은 주의, 충성, 기밀 유지의 의무를 집니다. AI 에이전트 역시 사용자를 대신하여 활동하는 만큼 변호사나 금융 자문가와 같은 수준의 전문적 기준과 윤리적 책임을 요구받아야 합니다.

팩트달력 조정 시나리오에서 에이전트는 사용자의 선호도를 반영한 가치 함수를 바탕으로 상대방과 협상합니다. 상대방 에이전트는 사용자와 상충하는 이해관계를 가지며, 때로는 사용자가 원하지 않는 시간대를 강요하거나 개인 정보를 추출하려는 시도를 합니다.

팩트시장 협상 시나리오에서 에이전트는 제품을 구매하는 구매자 역할을 수행합니다. 에이전트는 판매자의 예약 가격과 사용자의 예약 가격 사이에서 최선의 거래 조건을 도출해야 하며, 판매자의 초기 제안을 낮추기 위한 전략적 협상이 필요합니다.

팩트주의 의무 지표는 에이전트의 행동을 합리적인 대리인 정책과 비교하여 0에서 1 사이의 점수로 산출합니다. 이는 단순히 운에 의해 좋은 결과를 얻은 것인지, 아니면 적절한 절차를 거쳐 유능하게 협상했는지를 구분하기 위한 장치입니다.

출처마이크로소프트 리서치 공식 블로그(https://www.microsoft.com/en-us/research/blog/socialreasoning-bench-measuring-whether-ai-agents-act-in-users-best-interests/)를 교차 검증했습니다. 본 연구는 AI 에이전트의 사회적 책임과 기술적 한계를 다루고 있습니다.