오우미 연구: 구글 AI 개요, 정확도 91%에도 출처 불분명 심화

팩트AI 스타트업 오우미는 뉴욕타임스의 의뢰를 받아 구글 AI 개요(AI Overviews) 4,326개 검색 결과를 분석했습니다. 이 분석은 산업 표준인 심플큐에이(SimpleQA) 벤치마크를 활용했으며, 구글의 제미나이(Gemini) 2와 제미나이 3 모델을 각각 테스트했습니다.

팩트구글 AI 개요의 정확도는 제미나이 2 모델 사용 시 85%였습니다. 그러나 제미나이 3 모델로 업그레이드된 이후에는 정확도가 91%로 상승했습니다. 구글의 방대한 검색 규모를 고려하면, 이 정확도에도 불구하고 시간당 수백만 건의 오답이 발생할 수 있습니다.

주장정확도는 향상되었지만, 정보의 출처를 확인하는 검증 가능성은 오히려 악화되었습니다. 제미나이 2 모델에서는 정답의 37%가 출처 불분명 상태였습니다. 제미나이 3 모델에서는 이 수치가 56%로 급증했습니다.

교차검증구글 대변인 네드 아드라이언스는 오우미의 연구에 심각한 결함이 있다고 주장했습니다. 아드라이언스 대변인은 심플큐에이 벤치마크 자체가 부정확한 정보를 포함하며, 실제 사용자의 검색 패턴을 반영하지 못한다고 반박합니다.

팩트구글 AI 개요가 인용한 5,380개 출처 가운데 페이스북이 2위, 레딧이 4위를 차지했습니다. 페이스북은 정답의 5%, 오답의 7%에서 출처로 활용되었습니다. 이는 신뢰도가 낮은 정보원이 AI 답변의 근거가 될 수 있음을 보여줍니다.

주장구글의 AI 개요는 사용자가 외부 웹사이트를 방문하지 않고 직접적인 답변을 얻게 합니다. 이는 웹 생태계의 경제적 기반을 위협하며, 개방형 웹이 구글이 통제하는 중앙 집중식 인터페이스로 대체될 수 있습니다.

교차검증오우미가 사용한 검증 모델인 할로우미(HallowMe) 역시 자체적인 오류 가능성을 내포합니다. 또한 AI는 동일한 검색어에 대해서도 시간차를 두고 서로 다른 답변을 생성할 수 있어 일관된 평가가 어렵습니다.

팩트구글은 AI 생성 검색 결과 하단에 "AI 응답에 오류가 포함될 수 있다"는 면책 조항을 명시합니다. 그러나 이러한 오류가 실제 검색 환경에서 얼마나 빈번하게 발생하는지에 대한 체계적인 연구는 부족합니다.

주장구글은 콘텐츠 사용에 따른 소송 위험이 적은 출처를 선호할 유인이 있습니다. 이는 정보의 질보다 법적 리스크 회피가 우선시되는 알고리즘 편향을 초래할 수 있습니다.

출처해당 기사는 the-decoder.com의 기사와 뉴욕타임스 보도 자료를 교차 검증했습니다.