의료 AI 챗봇 확산, 외부 검증 시스템 마련 시급하다

주장마이크로소프트와 아마존, 오픈AI 등 주요 기술 기업이 의료용 인공지능(AI) 챗봇 서비스를 경쟁적으로 출시하고 있습니다. 이는 기존 의료 시스템의 접근성 한계를 보완하려는 시장의 요구를 반영한 결과입니다.

팩트마이크로소프트는 최근 코파일럿 헬스를 출시하여 사용자가 의료 기록을 연결하고 건강 관련 질문을 하도록 지원합니다. 아마존은 원 메디컬 서비스 회원에게만 제공하던 헬스 AI 도구를 일반 대중에게 확대 공개했습니다.

팩트오픈AI는 지난 1월 챗GPT 헬스를 선보였고, 앤스로픽의 클로드는 권한이 부여되면 사용자의 의료 기록에 접근합니다. 마이크로소프트는 자사 코파일럿 앱에서 매일 5000만 건의 건강 관련 질문이 접수된다고 밝혔습니다.

주장의료 AI 챗봇은 환자의 상태를 분류하는 트리아지 기능을 통해 의료 시스템의 과부하를 줄일 잠재력이 있습니다. 경미한 증상을 가진 환자가 가정에서 대처하도록 유도해 응급실 혼잡을 완화합니다.

교차검증마운트 사이나이 헬스 시스템의 연구 결과, 챗GPT 헬스는 경미한 증상에 대해 과도한 진료를 권장하거나 응급 상황을 식별하지 못하는 사례를 보였습니다. 이는 AI가 의료적 판단을 내리는 데 여전히 한계가 있음을 시사합니다.

팩트기업들은 챗봇 인터페이스에 진단이나 치료 목적이 아니라는 면책 조항을 명시합니다. 그러나 전문가들은 사용자가 이러한 경고를 무시하고 실제 진단 및 치료 목적으로 챗봇을 사용할 가능성이 크다고 경고합니다.

팩트오픈AI는 헬스벤치라는 벤치마크로 AI 모델의 건강 관련 대화 능력을 평가합니다. 하지만 옥스퍼드 인터넷 연구소의 연구에 따르면, AI가 가상 시나리오를 정확히 분석해도 비전문가인 사용자가 이를 활용할 때 정확도가 크게 떨어집니다.

교차검증사용자가 의료 지식이 부족하면 AI에게 필요한 정보를 정확히 전달하지 못하거나 AI가 제공한 정보를 오해할 위험이 있습니다. 특히 AI가 사용자에게 추가 정보를 요청하는 능력이 부족하면 부정확한 조언이 제공될 가능성이 큽니다.

주장기술 기업들은 모델 성능이 지속적으로 개선된다고 주장하지만, 최신 모델이 이전 버전보다 문맥 파악 능력이 퇴보하는 사례도 보고됩니다. 따라서 실제 인간 사용자를 대상으로 한 통제된 환경에서의 임상적 검증이 반드시 필요합니다.

주장기업이 자체적으로 수행하는 성능 평가만으로는 부족합니다. 독립적인 외부 전문가가 참여하는 엄격한 검증이 선행되지 않은 상태에서의 광범위한 배포는 위험합니다.

출처https://www.technologyreview.com/2026/03/30/1134795/there-are-more-ai-health-tools-than-ever-but-how-well-do-they-work/