AI 온라인 혐오 표현 탐지의 한계와 기술적 과제

주장인공지능 모델은 온라인상의 혐오 표현을 탐지하고 제거하는 핵심 도구로 활용되지만, 인간의 판단력과 비교하면 여전히 기술적 한계를 보입니다. 특히 맥락을 파악해야 하는 복잡한 형태의 혐오 표현을 인공지능이 정확히 식별하지 못하는 사례가 빈번합니다.

팩트유엔은 혐오 표현을 인종, 종교, 성별, 성적 지향 등 특정 정체성을 가진 개인이나 집단에 대한 차별 또는 폭력을 선동하는 모든 의사소통으로 정의합니다. 이러한 표현은 언어뿐만 아니라 이미지, 만화, 제스처, 물체 등 다양한 매체를 통해 나타납니다.

팩트2023년 입소스와 유네스코가 16개국 8000명을 대상으로 조사한 결과, 인터넷 사용자의 3분의 2 이상이 온라인에서 혐오 표현을 경험했습니다. 응답자들은 성소수자가 가장 많은 혐오 표현을 겪으며, 인종적 소수자와 여성이 그 뒤를 잇는다고 답변했습니다.

팩트메타는 2025년 4분기 인스타그램에서 130만 건, 페이스북에서 130만 건의 혐오 게시물을 삭제했습니다. 이는 2024년 4분기 각각 740만 건과 580만 건을 삭제했던 수치와 비교하면 큰 폭으로 감소한 결과입니다.

교차검증메타가 사전 탐지보다는 사용자 신고에 의존하는 방식으로 정책을 변경한 반면, 틱톡은 2025년 4분기 혐오 표현의 96.3%를 신고 접수 전에 자체적으로 삭제했습니다. 이는 기업마다 혐오 표현 대응 전략과 기술적 역량에 차이가 있음을 의미합니다.

팩트펜실베이니아 대학교의 2025년 연구에 따르면 오픈AI, 앤스로픽, 딥시크, 미스트랄, 구글 등 7개 인공지능 모델은 혐오 표현 분류 방식에서 큰 차이를 보였습니다. 동일한 콘텐츠에 대해서도 모델마다 다른 점수를 부여하여 모니터링 과정의 신뢰성에 의문이 제기됩니다.

주장인공지능 모델은 욕설이나 비하 발언이 포함된 명시적 혐오 표현은 효과적으로 탐지합니다. 그러나 은유적이거나 맥락적인 혐오 표현은 놓치기 쉽습니다. 긍정적인 문장 구조 속에 숨겨진 비하 메시지를 인공지능이 긍정적인 것으로 오인하는 오류가 발생합니다.

교차검증역사적으로 비하 의미를 담았던 단어가 특정 공동체 내에서 친근한 의미로 재사용되는 경우, 인공지능은 이를 혐오 표현으로 잘못 분류합니다. 이러한 재사용된 언어에 대한 인공지능의 낮은 이해도는 표현의 자유를 침해할 위험을 내포합니다.

주장인공지능 시스템 간의 분류 불일치는 온라인 공간에서 보호의 불평등을 야기하며, 이는 플랫폼의 콘텐츠 관리 정책에 대한 정당성을 약화합니다. 기술적 자동화가 완벽하지 않은 상황에서는 인간의 개입과 정교한 모델 학습이 필수적입니다.

주장플랫폼 기업은 인공지능의 기술적 한계를 인정하고, 인간 검토자의 역할을 강화하는 방향으로 정책을 재설계해야 합니다. 모델 간의 표준화된 분류 기준을 마련하는 노력 또한 병행되어야 합니다.

주장기술적 발전이 지속되더라도 인공지능은 인간의 언어적 맥락과 사회적 합의를 완벽히 대체할 수 없습니다. 따라서 인공지능을 보조 수단으로 활용하되, 최종 판단의 책임은 인간에게 있음을 명확히 해야 합니다.

출처알자지라의 2026년 6월 18일 자 보도와 유엔 국제 혐오 표현 대응의 날 자료를 교차 검증했습니다.