옥토퍼스 에너지, 데이터 파이프라인 재설계로 비용 50배 절감

주장옥토퍼스 에너지는 영국 시장 전체 반시간 정산(MHHS) 규제 도입에 따른 데이터 폭증 문제를 인프라 증설이 아닌 아키텍처 재설계로 해결했습니다. 기업은 단순히 컴퓨팅 자원을 늘리는 방식이 비용 효율성을 저해한다고 판단하여 데이터 처리 로직을 근본적으로 재구축했습니다.

팩트영국 MHHS 규제는 가구당 월 2회였던 검침 횟수를 하루 48회로 확대하는 내용을 담고 있습니다. 옥토퍼스 에너지는 기존 아키텍처를 유지할 경우 매년 약 100만 달러의 추가 비용이 발생할 것으로 예상했습니다.

교차검증기존의 단일 모놀리식 파이프라인은 모든 데이터를 일괄 처리하는 구조여서 데이터 증가에 따른 비용 부담이 컸습니다. 옥토퍼스 에너지는 이를 정산, 반시간, 월간 등 세 가지 전문 스트림으로 분리하여 데이터 성격에 맞게 최적화했습니다.

팩트옥토퍼스 에너지는 델타 레이크의 변경 데이터 피드 기술을 도입하여 처리 대상 행을 250억 개에서 3억 개로 98.8% 줄였습니다. 이를 통해 데이터 처리 비용을 정산 날짜 기준 23.63달러에서 0.48달러로 50배 절감했습니다.

주장데이터 엔지니어링의 핵심은 데이터를 처리하는 과정을 넘어 데이터의 변화량만을 효율적으로 추적하는 증분 처리 방식에 있습니다. 옥토퍼스 에너지는 이 방식을 적용하여 데이터 신선도를 주간 단위에서 일간 단위로 7배 개선했습니다.

팩트데이터브릭스 서버리스 환경은 클러스터 시작 시간을 제거하여 개발 속도를 높였습니다. 3명의 엔지니어가 3개월 만에 전체 파이프라인을 재구축한 배경에는 서버리스 기반의 빠른 반복 테스트가 있었습니다.

교차검증스파크의 적응형 쿼리 실행 기능을 활용하여 수동으로 작성된 복잡한 최적화 코드를 제거했습니다. 불필요한 컴퓨팅 연산을 줄이는 작업은 새로운 최적화를 추가하는 것만큼 성능 향상에 기여했습니다.

팩트이번 프로젝트를 통해 옥토퍼스 에너지는 연간 약 100만 달러의 비용을 절감했습니다. 이는 기존 시스템과 비교해 데이터 처리량이 48배 증가한 상황에서 2배 더 효율적인 비용 구조를 달성한 결과입니다.

주장에너지 전환 시대에는 재생 에너지의 간헐성으로 인해 정확한 가격 신호를 소비자에게 전달하는 과정이 필수적입니다. 이를 위해서는 MHHS와 같은 정밀한 데이터 정산 체계가 뒷받침되어야 하며, 데이터 아키텍처의 유연성이 기업의 경쟁력을 결정합니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/scaling-mhhs-how-octopus-energy-achieved-50x-cost-reduction-margin-data-engineering)를 통해 해당 사례를 교차 검증했습니다.