AMD ROCm 기반 의료 AI 모델 미세조정 성공

주장의료 분야 인공지능은 잘못된 답변이 치명적인 결과를 초래할 수 있어 높은 신뢰성을 요구합니다. 이번 프로젝트는 기존 엔비디아의 쿠다 중심 개발 환경에서 벗어나 에이엠디 하드웨어로도 고성능 의료 모델을 구축할 수 있음을 증명했습니다.

팩트실험에 사용된 에이엠디 인스팅트 엠아이300엑스는 192기가바이트의 에이치비엠3 메모리를 탑재하여 대규모 언어 모델 학습에 최적화된 성능을 제공합니다. 연구진은 큐웬3-1.7비 모델을 로라 기법으로 별도의 양자화 과정 없이 16비트 부동소수점 정밀도로 학습했습니다.

팩트학습 데이터셋인 메드엠씨큐에이는 인도 의학 입학 시험 문제로 구성되었습니다. 연구진은 2천 개의 학습 샘플을 사용하여 5분 만에 모델 학습을 완료하는 효율성을 보였습니다.

팩트모델 학습 과정에서 코드 수정이나 별도의 커널 설치 없이 환경 변수 설정만으로 록엠 환경을 구축했습니다. 연구진은 알오씨알_비저블_디바이시스, 에이치아이피_비저블_디바이시스, 에이치에스에이_오버라이드_지에프엑스_버전 등 세 가지 변수만으로 기존 쿠다 코드를 그대로 실행했습니다.

주장로라 기법을 활용한 미세조정은 전체 15억 개의 파라미터 중 약 220만 개만을 학습시킵니다. 이는 메모리 사용량을 획기적으로 줄이면서도 모델의 임상적 추론 능력을 유지하는 효율적인 전략입니다.

교차검증학습 초기 단계에서 16비트 부동소수점 정밀도인 비플롯16을 사용했을 때 난 손실 값이 발생하는 문제가 확인되었습니다. 연구진은 이를 해결하기 위해 표준 16비트 부동소수점 정밀도로 전환하여 학습 안정성을 확보했습니다.

팩트최종 모델은 단순한 객관식 정답 선택을 넘어 임상적 근거를 포함한 설명을 제공합니다. 이는 의료 현장에서 모델 답변의 신뢰도를 높이고 의사결정을 지원하는 역할을 합니다.

팩트허깅페이스 허브를 통해 학습된 로라 어댑터 가중치가 공개되어 누구나 활용 가능합니다. 사용자는 별도의 저장소 복제 없이 트랜스포머 라이브러리를 통해 모델을 직접 불러와 사용합니다.

주장이번 성과는 허깅페이스의 트랜스포머, 피이에프티, 티알엘 등 주요 생태계가 에이엠디 록엠 환경에서도 원활하게 작동함을 시사합니다. 이는 특정 하드웨어 제조사에 종속되지 않는 인공지능 개발 환경 구축의 가능성을 열어줍니다.

출처허깅페이스 블로그를 통해 해당 프로젝트의 기술적 세부 사항과 성과를 교차 검증했습니다. (https://huggingface.co/blog/lablab-ai-amd-developer-hackathon/medqa)