DeepSpeed v0.18.9, AutoTP 기능 강화

팩트Microsoft DeepSpeed가 최신 버전 v0.18.9를 출시했습니다. 이번 릴리즈는 Universal Checkpoint for AutoTP 기능 추가, HuggingFace tp_plan 지원, Muon Optimizer의 ZeRO Stage 3 확장 지원 등 다양한 기능 개선을 포함하고 있습니다.

주장이번 v0.18.9 버전은 특히 AutoTP(Automatic Tensor Parallelism) 기능의 성숙도를 높이는 데 중점을 두었습니다. Universal Checkpoint 기능은 학습 중단 및 재개 시 체크포인트 관리의 유연성을 제공하며, HuggingFace 모델과의 호환성 증대는 사용자 편의성을 크게 향상시킬 것으로 보입니다.

팩트또한, PyTorch 버전 < 2.4 환경에서의 `torch.amp.custom_fwd` 호환성 문제가 해결되었으며, ROCm GPU 아키텍처 감지 시 불필요한 `shell=True` 옵션이 제거되었습니다. `$DS_IGNORE_CUDA_DETECTION` 환경 변수를 통해 로컬 GPU 감지를 무시할 수 있는 기능도 추가되었습니다.

주장ZeRO Stage 3와 Muon Optimizer의 통합은 메모리 효율성을 극대화하는 데 중요한 역할을 할 것입니다. 이는 더 큰 모델을 더 적은 GPU 자원으로 학습시킬 수 있는 가능성을 열어주며, 연구 및 개발 비용 절감에 기여할 수 있습니다.

교차검증다만, 이번 릴리즈 노트에는 새로운 기능의 성능 향상에 대한 구체적인 수치적 데이터가 명시되어 있지 않아, 실제 적용 시 어느 정도의 효율성 증대가 있을지는 추가적인 벤치마크 결과가 필요합니다. 또한, `AGENTS.md` 및 `CLAUDE.md` 파일에서 Microsoft Corporation 저작권 표시가 제거된 것은 라이선스 정책 변경과 관련된 부분으로, 관련 문서의 라이선스 조항을 면밀히 검토할 필요가 있습니다.

팩트이번 업데이트에는 AutoSP(Automatic System Parallelism)가 DeepSpeed 프로젝트로 병합되는 중요한 변화도 포함되었습니다. 이는 시스템 수준의 병렬화 전략을 DeepSpeed 프레임워크 내에서 통합 관리하려는 Microsoft의 의지를 보여줍니다.

출처자세한 변경 사항은 DeepSpeed GitHub 저장소의 릴리즈 노트 및 관련 Pull Request를 통해 확인할 수 있습니다. - 릴리즈 노트: https://github.com/deepspeedai/DeepSpeed/compare/v0.18.8...v0.18.9 - Universal Checkpoint for AutoTP: https://github.com/deepspeedai/DeepSpeed/pull/7908 - HuggingFace tp_plan support for AutoTP: https://github.com/deepspeedai/DeepSpeed/pull/7901 - Extending Muon Optimizer Support for ZeRO Stage 3: https://github.com/deepspeedai/DeepSpeed/pull/7919 - Merging AutoSP into DeepSpeed: https://github.com/deepspeedai/DeepSpeed/pull/7860