메타의 AI 학습 효율 극대화를 위한 스토리지 아키텍처 혁신

주장메타는 인공지능 모델의 규모가 커짐에 따라 기존 스토리지 아키텍처가 그래픽처리장치(GPU) 활용도를 저해하는 병목 현상을 일으킨다고 판단했습니다. 인공지능 학습에서 스토리지는 뇌의 기억 장치와 같으며, 데이터 접근 속도가 곧 컴퓨팅 비용과 직결됩니다.

팩트메타는 페이스북, 인스타그램, 리얼리티 랩스 등 자사 서비스 전반에 걸쳐 수백 엑사바이트 규모의 스토리지 클러스터를 운영합니다. 이 시스템은 텍토닉이라는 수평적 확장 가능한 블록 레이어를 기반으로 하며, 데이터 중요도에 따라 하드디스크드라이브(HDD)와 플래시 메모리를 계층화하여 관리합니다.

교차검증기존의 레거시 블롭(BLOB) 스토리지 구조는 서비스 지향적인 다층 구조로 설계되어 메타데이터 조회 시 수백 밀리초의 지연 시간이 발생했습니다. 이는 전통적인 웹 서비스에는 문제가 없었으나, 밀리초 단위의 빠른 데이터 접근이 필요한 현대 인공지능 학습 환경에서는 성능 저하를 유발했습니다.

팩트메타는 새로운 스토리지 아키텍처를 위해 메타데이터 시스템을 지피디비(GPDB) 기반의 단일화된 평면 스키마로 재작성했습니다. 이를 통해 경로를 주소로 변환하는 조회 과정을 오(1) 복잡도로 개선하여 데이터 접근 효율을 높였습니다.

주장단일화된 평면 스키마 도입에 이어 메타는 데이터 플레인 프록시를 제거하고 클라이언트가 직접 스토리지 서버에서 데이터를 스트리밍하는 팻 클라이언트 소프트웨어개발키트(SDK) 방식을 채택했습니다. 이는 전력 효율을 높이고 데이터 처리량은 극대화하며 지연 시간은 최소화하는 핵심 전략입니다.

팩트인공지능 학습 과정에서 GPU는 배치 단위로 데이터를 처리하며, 특정 GPU가 데이터를 기다리는 동안 전체 학습 속도가 동기화 문제로 지연됩니다. 메타는 이러한 GPU 스톨 현상을 방지하기 위해 지역별로 최적화된 블롭 스토리지 스택을 GPU와 동일한 지역에 배치합니다.

교차검증과거의 스토리지 설계는 지역 장애를 대비한 글로벌 복제에 중점을 두었으나, 인공지능 워크로드는 높은 가용성보다 예측 가능한 지연 시간과 비용 효율성을 더 중요하게 요구합니다. 메타는 이러한 요구사항에 맞춰 글로벌 기본 복제 정책을 지역 단위 배포 방식으로 전환했습니다.

팩트새로운 아키텍처에서는 클라이언트 SDK가 애플리케이션프로그래밍인터페이스(API) 서버로부터 읽기 계획을 전달받은 뒤, 텍토닉 블록 클라이언트를 통해 데이터를 직접 스트리밍합니다. 이 과정에서 데이터 프록시를 거치지 않음으로써 추가적인 오버헤드를 제거하고 전력 소비 예산을 절감합니다.

주장데이터센터의 제약 조건이 공간에서 전력으로 이동함에 따라, 스토리지에 소모되는 전력을 최소화하는 것이 인공지능 경쟁력의 핵심이 되었습니다. 메타는 스토리지 아키텍처 재설계를 통해 GPU에 더 많은 전력을 할당할 수 있는 환경을 조성합니다.

팩트스토리지 아키텍처 재설계는 단순히 데이터 처리 속도 향상에 그치지 않고 데이터센터 전체의 전력 운영 효율을 개선합니다. 메타는 이를 통해 인공지능 학습 인프라의 운영 비용을 절감하고 있습니다.

주장메타의 이번 아키텍처 혁신은 인공지능 모델의 학습 규모가 확대되는 상황에서 필수적인 인프라 대응 전략으로 평가됩니다. 데이터 접근 효율을 극대화한 이번 설계는 향후 메타의 인공지능 서비스 경쟁력을 높이는 기반이 됩니다.

출처메타의 인공지능 스토리지 아키텍처 혁신 내용은 메타 엔지니어링 블로그(https://engineering.fb.com/2026/07/01/data-infrastructure/metas-ai-storage-blueprint-at-scale/)를 교차 검증했습니다.