멀티모달 AI '신기루 효과', 이미지 없이도 진단 내린다

주장스탠퍼드 대학교 연구진은 최신 멀티모달 인공지능(AI) 모델이 이미지를 제공하지 않아도 상세한 설명과 진단을 생성하는 현상을 확인했습니다. 연구진은 이를 '신기루 효과'라고 명명하며, 모델이 시각적 입력이 존재한다고 가정하고 추론을 구축하는 현상이라고 분석합니다.

팩트연구진이 개발한 '팬텀-0(Phantom-0)' 벤치마크 테스트 결과, 모든 최신 모델은 이미지 없이도 60퍼센트 이상의 사례에서 시각적 세부 사항을 자신 있게 묘사했습니다. 일반적인 평가 워크플로우의 프롬프트 지침을 추가하면 이 수치는 90에서 100퍼센트까지 상승합니다.

교차검증신기루 효과는 일반적인 환각 현상과 근본적으로 다릅니다. 환각은 유효한 참조 프레임 내에서 잘못된 정보를 생성하는 것이지만, 신기루 효과는 모델이 시각적 입력이 존재한다는 거짓 인식 프레임을 스스로 구축하는 과정입니다.

팩트의료 분야에서의 결과는 더욱 심각합니다. 제미나이 3 프로(Gemini 3 Pro)는 엑스레이나 자기공명영상(MRI) 등 5개 임상 범주에서 존재하지 않는 이미지에 대해 진단을 내렸습니다. 특히 심근경색이나 흑색종과 같은 중증 질환으로 진단이 편향되는 경향을 보였습니다.

교차검증기존 6개 주요 벤치마크 테스트에서 모델들은 이미지를 전혀 보지 않고도 전체 점수의 70에서 80퍼센트를 획득했습니다. 이는 모델의 시각적 능력 평가가 실제 이미지 처리보다는 텍스트 패턴과 사전 지식에 크게 의존하고 있음을 의미합니다.

팩트의료 벤치마크의 경우 모델들은 텍스트만으로 이미지 모드 정확도의 99퍼센트까지 도달했습니다. 실제 이미지가 성능에 기여하는 비중은 극히 낮으며, 이는 현재의 벤치마크가 모델의 시각적 능력을 제대로 측정하지 못함을 시사합니다.

팩트연구진이 훈련한 30억 파라미터 규모의 텍스트 전용 모델은 흉부 엑스레이 분석에서 최신 멀티모달 모델들을 모두 능가했습니다. 이 모델은 인간 방사선 전문의보다 평균 10퍼센트 이상 높은 정확도를 기록하며 시각적 근거까지 제시했습니다.

주장현재의 AI 벤치마크는 질문 자체에 언어적 단서와 구조적 규칙성이 포함되어 있어 텍스트 모델만으로도 정답을 맞힐 수 있습니다. 이러한 벤치마크 구조는 모델이 이미지를 처리하는지 여부를 구분하지 못하게 만드는 근본적인 원인이 됩니다.

교차검증모델은 이미지가 없음을 인지하고 추측하는 모드보다, 이미지가 있다고 믿고 생성하는 신기루 모드에서 더 높은 성능을 보였습니다. 이는 모델이 단순히 확률적으로 추측하는 것이 아니라, 시각적 서사를 구성하며 더 깊은 연관 패턴을 활성화함을 의미합니다.

주장연구진은 해결책으로 '비-클린 프레임(Non-clean frame)'을 제안하며, 이미지 없이 풀 수 있는 질문을 모두 제거한 평가 방식을 도입해야 한다고 주장합니다. 이는 모델의 실제 시각적 이해도를 검증하기 위한 필수적인 조치입니다.

출처https://the-decoder.com/ai-models-confidently-describe-images-they-never-saw-and-benchmarks-fail-to-catch-it/