분산형 AI 학습, 데이터 센터 에너지 효율 높인다

주장인공지능 모델 규모가 커지면서 막대한 전력이 소비됩니다. 이는 데이터 센터의 탄소 배출량을 늘리는 주된 원인이 됩니다. 업계는 중앙 집중식 운영 대신 분산형 학습을 도입하여 에너지 효율을 개선합니다.

팩트분산형 학습은 단일 플랫폼에 의존하지 않습니다. 이 방식은 독립적인 노드 네트워크에 모델 학습을 분산합니다. 연구실의 유휴 서버나 태양광 에너지를 사용하는 가정용 컴퓨터 등 기존 자원을 활용하여 전력망 부담을 줄입니다.

팩트엔비디아는 지리적으로 떨어진 데이터 센터 간 대규모 인공지능 학습을 지원하기 위해 스펙트럼-XGS 이더넷 네트워킹을 출시했습니다. 시스코는 분산된 인공지능 클러스터를 연결하는 8223 라우터를 선보이며 관련 인프라 구축을 돕습니다.

팩트아카시 네트워크는 데이터 센터를 위한 클라우드 컴퓨팅 마켓플레이스를 운영합니다. 사용하지 않는 그래픽 처리 장치를 보유한 제공자와 컴퓨팅 자원이 필요한 임차인을 연결하여 유휴 자원의 효율적인 활용을 지원합니다.

주장분산형 학습을 정착시키려면 하드웨어뿐만 아니라 소프트웨어 알고리즘의 변화가 필요합니다. 연합 학습과 같은 분산형 머신러닝 기법은 데이터를 중앙으로 모으지 않고도 모델을 학습시키는 효율적인 대안을 제시합니다.

교차검증분산형 학습은 모델 가중치를 지속적으로 교환해야 하므로 통신 비용이 높습니다. 특정 노드에 장애가 발생하면 전체 학습 과정이 중단될 수 있는 결함 허용성 문제도 존재합니다.

팩트구글 딥마인드는 이러한 한계를 극복하기 위해 분산형 저통신 최적화 알고리즘인 디로코를 개발했습니다. 디로코는 컴퓨팅 섬을 형성하여 각 그룹이 독립적으로 학습 단계를 수행하게 합니다. 이 과정에서 통신 빈도를 줄이고 장애 발생 시 복구 부담을 완화합니다.

팩트스트리밍 디로코는 데이터를 완전히 내려받지 않고 스트리밍 방식으로 지식을 동기화하여 대역폭 요구 사항을 낮췄습니다. 이 기술은 실시간으로 컴퓨팅 작업을 수행하면서 백그라운드에서 지식을 점진적으로 통합합니다.

팩트프라임 인텔렉트는 디로코 알고리즘을 활용하여 100억 개의 파라미터를 가진 인텔렉트-1 모델을 5개국에 걸쳐 학습시켰습니다. 0G 랩스는 이를 응용하여 1070억 개의 파라미터를 가진 파운데이션 모델을 분산 클러스터 환경에서 학습하는 데 성공했습니다.

출처아이트리플이 스펙트럼의 분산형 인공지능 학습 관련 보도를 교차 검증했습니다. (https://spectrum.ieee.org/decentralized-ai-training-2676670858)