한국형 웹 브라우징 AI 성능 평가 벤치마크 K-BrowseComp 공개

팩트나현, 윤동근, 손귀진, 김기욱, 고다윤, 박정훈, 유하늘, 조재원, 박정훈, 이창윤 등 연구진은 한국어 환경에 특화된 웹 브라우징 에이전트 벤치마크인 K-BrowseComp를 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장인공지능 모델의 평가 기준이 단순 지시 이행이나 추론 능력을 넘어, 복합적인 에이전트 수행 능력으로 이동하고 있습니다. 그러나 지금까지 한국어 맥락을 충분히 반영한 에이전트 평가 체계는 매우 부족한 실정이었습니다.

팩트K-BrowseComp는 총 400개의 문제로 구성됩니다. 이 중 300개로 이루어진 K-BrowseComp-Verified 데이터셋은 한국어 원어민이 직접 구축하고 검증했습니다.

팩트검증된 데이터셋에서 GPT-5.5, DeepSeek-V4-Pro, GLM-5.1 등 최신 거대언어모델(LLM, 대규모 언어 모델)은 30.00%에서 45.67%의 정확도를 기록했습니다. 이는 기존 BrowseComp 평가 결과보다 대폭 하락한 수치입니다.

팩트한국의 독자적인 AI 기반 모델 육성 프로그램을 통해 출시된 한국어 특화 LLM들은 해당 평가에서 0.00%에서 10.33%라는 낮은 성적을 거두었습니다.

주장이번 연구는 한국어 웹 환경의 특수성과 복잡한 에이전트 작업이 결합했을 때, 현재의 최첨단 AI 모델들이 얼마나 취약한지 명확히 보여줍니다.

팩트연구진은 추가로 100개의 문제로 구성된 합성 데이터셋을 구축했습니다. 이 데이터셋은 웹 브라우징 문제를 해결하는 과정과 생성하는 과정 사이의 비대칭성을 활용하여 난도가 높은 예시들로 설계되었습니다.

팩트적대적으로 필터링된 합성 진단 데이터셋에서 가장 성능이 뛰어난 모델조차 26.00%의 정확도를 기록하는 데 그쳤습니다. 연구진은 이를 모델의 한계를 시험하는 스트레스 테스트로 활용할 것을 제안합니다.

교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review)를 거치지 않았습니다. 따라서 연구 결과의 학술적 타당성은 추후 검증이 필요합니다.

교차검증본 벤치마크는 한국어 웹 환경에 국한되어 있어, 다양한 언어권이나 다른 문화적 맥락의 웹 환경으로 결과를 일반화하기에는 한계가 존재합니다. 또한 데이터셋의 구성 방식이 특정 모델의 실패 모드에 집중되어 있어, 실제 범용적인 웹 브라우징 성능을 완벽히 대변한다고 보기 어렵습니다.

주장이번 공개는 한국어 기반 AI 에이전트의 성능 향상을 위한 중요한 이정표가 됩니다. 연구진은 데이터와 코드를 모두 공개하여 관련 분야의 연구를 촉진하고자 합니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.02404)을 참고했습니다.