암 약물 반응 예측 모델의 성능 평가 기준과 DrEval 도입

주장암 약물 반응 예측 모델은 문헌상 우수한 성능을 보이지만, 실제 임상 현장에서의 적용은 여전히 제한적입니다. 연구자들은 현재 모델들이 낙관적인 성능 추정치를 제시하여 실질적인 진보를 확인하기 어렵다고 지적합니다.

팩트DrEval은 암 약물 반응 모델을 편향 없이 생물학적으로 평가하기 위해 설계된 오픈 소스 벤치마크 파이프라인입니다. 이 도구는 표준화된 하이퍼파라미터 튜닝과 통계적으로 엄격한 평가 방식을 제공하며 연구 결과의 시각화를 지원합니다.

팩트연구 결과에 따르면 복잡한 딥러닝 모델은 약물과 세포주의 평균 효과만을 예측하는 단순 모델보다 성능이 크게 앞서지 못합니다. 적절하게 튜닝된 트리 기반 앙상블 모델이 복잡한 모델보다 관련 설정에서 우수한 성능을 보입니다.

교차검증약물 반응 예측 분야는 코드와 데이터 공유 부족 및 불충분한 문서화로 재현성 위기를 겪고 있습니다. 단순한 계산적 재현성을 넘어 데이터 분석의 정확성을 보장하는 일반적 재현성 확보가 시급합니다.

팩트데이터 누출은 테스트 세트의 정보가 훈련 과정에 영향을 미쳐 성능을 과대평가하게 만드는 주요 원인입니다. 개인 맞춤형 의학을 위해 훈련에 사용되지 않은 세포주를 테스트하는 세포주 제외 설정이 필수적입니다.

교차검증약물 재배치 연구에서는 훈련 시 보지 못한 조직 유형을 테스트하는 조직 제외 설정이 필요하며, 신약 개발 모델은 약물 제외 설정에서 평가해야 합니다. 많은 연구가 이러한 엄격한 설정에서 성능 저하를 겪으며 단순 평균 예측으로 높은 점수를 얻는 착시 현상을 보입니다.

팩트CTRPv2 데이터셋은 수십만 개의 약물 반응 곡선을 포함하지만, 독립적인 세포주는 886개, 화합물은 545개에 불과합니다. 모델이 학습하는 생물학적 및 화학적 공간이 제한적이므로 복잡한 딥러닝 모델은 과적합될 위험이 큽니다.

주장통계적 분석 시 약물-세포주 쌍을 독립적인 표본으로 간주하는 의사 복제 오류가 빈번하게 발생합니다. 세포주나 약물을 진정한 복제 단위로 인식하지 않으면 연구 결과의 유의성이 과장됩니다.

팩트약물마다 작용 기전과 세포 흡수율이 달라 IC50 지표에서 큰 편차가 발생하며, 이는 평가 과정에서 심슨의 역설을 유발합니다. 이러한 편향된 평가는 모델이 실제 약물 효능을 예측하는지, 단순히 약물별 평균 반응을 학습하는지 구분하기 어렵게 만듭니다.

출처네이처 커뮤니케이션즈(Nature Communications)에 게재된 연구 자료를 교차 검증했습니다.