"지어내지 마"라고 하면 AI가 더 틀리는 이유
"지어내지 마"라고 요구할수록 AI의 답변이 더 부정확해질 수 있다는 연구 결과가 나왔다. 정답이 문서 안에 있어도 AI가 확신하지 못하면 답변을 포기했다. 연구진은 이를 안전해지기 위해 정확성을 희생하는 Safety Tax라고 설명한다.
팩트연구진은 긴 글을 준비한 뒤 여러 사실을 문서 곳곳에 흩어 놓고 AI에게 "지어내지 마"라는 조건을 붙인 경우와 붙이지 않은 경우를 비교했습니다. 환각 방지 프롬프트는 없는 내용을 만들어내는 비율을 줄였습니다. 그러나 AI가 스스로 확신하지 못하면 정답이 문서에 있어도 "모르겠다"고 답했습니다. 특히 긴 문서일수록 이 현상이 심해졌습니다. 연구진은 이를 Safety Tax라고 설명합니다.
팩트모델이 입력을 받을 수 있는 길이와 실제로 활용하는 길이는 달랐습니다. 광고되는 최대 컨텍스트와 실제 활용 가능 길이는 다르고, 문서 중간에 위치한 정보는 무시되는 경향이 강하며, 정보가 조밀하거나 특정 구간에 몰리면 성능이 급락했습니다. 같은 조건에서도 모델 간 차이는 컸습니다. Gemini, DeepSeek 계열은 비교적 안정적인 반면 ChatGPT-5-mini, Claude는 특정 조건에서 급격히 붕괴하는 모습을 보였습니다.
주장AI는 자료를 많이 준다고 똑똑해지지 않았습니다. "지어내지 마"는 만능 해결책이 아닙니다. 문서를 통째로 붙여 넣고 틀리면 안 된다고 말하는 방식은 생각보다 위험합니다. 긴 문서는 나눠서 입력하고, 중요한 정보는 앞쪽에 명확히 써야 합니다. AI는 정리된 자료에서 더 정확해집니다.
교차검증프롬프트보다 모델 아키텍처 차이가 더 큰 영향을 미쳤습니다. 본 논문은 arXiv 사전공개(preprint) 상태로 동료심사를 거치지 않았습니다. 해석과 결론에는 오류 가능성이 있습니다.
출처Ebrahimzadeh, A., Salili, S. M. (2026). Not All Needles Are Found: How Fact Distribution and "Don't Make It Up" Prompts Shape LLM Reliability. arXiv. https://arxiv.org/abs/2601.02023
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.