마이크로소프트, 거대언어모델 도메인 적응 자동화 기술 오토어댑트 공개

주장마이크로소프트는 거대언어모델(LLM)을 법률, 의료, 클라우드 사고 대응 등 전문 분야에 적용할 때 발생하는 비효율성을 해결하고자 오토어댑트(AutoAdapt)를 개발했습니다. 기존의 수동적인 도메인 적응 방식은 많은 시간과 비용을 소모하며 낮은 재현성을 보입니다.

팩트오토어댑트는 도메인 적응 과정을 제약 조건이 있는 계획 문제로 정의합니다. 사용자가 목표와 데이터, 예산, 지연 시간, 하드웨어 제약 조건을 입력하면 시스템이 최적의 파이프라인을 자동으로 설계합니다.

팩트이 프레임워크는 적응 구성 그래프(ACG)를 사용하여 시스템 구성 공간을 구조화합니다. 이를 통해 검색 효율성을 높이고 유효한 모델 적응 경로를 보장합니다.

팩트오토어댑트는 에이전트 기반 플래너를 활용하여 전략을 수립하고 검증합니다. 시스템은 명시적인 제약 조건 내에서 실행 가능한 워크플로우를 생성합니다.

팩트오토레파인(AutoRefine)이라는 예산 인식 최적화 루프도 포함합니다. 이는 제한된 피드백 환경에서도 전략적으로 실험을 선택하여 하이퍼파라미터를 효율적으로 조정합니다.

교차검증기존 도메인 적응 방식은 검색 증강 생성(RAG)과 미세 조정(Fine-tuning) 사이에서 시행착오를 겪는 경우가 많았습니다. 오토어댑트는 이러한 선택지 간의 복잡한 상호작용을 체계적으로 관리하여 불확실성을 줄입니다.

팩트실험 결과, 오토어댑트는 추론, 질의응답, 코딩, 분류 등 다양한 작업에서 성능 향상을 입증했습니다. 시스템은 최소한의 추가 시간과 비용으로 최적의 모델 구성을 찾아냅니다.

주장도메인 적응은 이제 임시방편적인 과정이 아닌 공학적 규율로 자리 잡아야 합니다. 오토어댑트는 모델의 행동을 예측 가능하게 만들고 기업이 데이터에서 모델 배포까지의 과정을 반복 가능하게 설계하도록 지원합니다.

팩트마이크로소프트는 오토어댑트 프레임워크를 오픈 소스로 공개했습니다. 관심 있는 개발팀은 제공된 읽기 전용 파일(README)을 통해 설치 및 사용법을 확인합니다.

출처마이크로소프트 공식 블로그(https://www.microsoft.com/en-us/research/blog/autoadapt-automated-domain-adaptation-for-large-language-models/)를 통해 해당 기술의 사양과 실험 결과를 교차 검증했습니다.