메이크마이트립, 데이터브릭스 RTM으로 밀리초 단위 개인화 구현

주장메이크마이트립은 데이터브릭스의 실시간 모드(Real-Time Mode, RTM)를 도입하여 기존의 복잡한 데이터 처리 구조를 통합했습니다. 이를 통해 별도의 전문 엔진 없이 단일 스파크(Spark) 아키텍처 내에서 실시간 개인화 서비스를 구현했습니다.

팩트메이크마이트립은 RTM 도입을 통해 검색 응답 속도를 50밀리초(P50 기준) 이하로 단축했습니다. 이러한 성능 개선은 사용자 클릭률을 7% 증가시키는 직접적인 결과로 이어졌습니다.

교차검증기존 아파치 스파크의 마이크로 배치 모드는 1~2초의 지연 시간이 발생하여 실시간 서비스 제공에 한계가 있었습니다. 아파치 플링크(Flink) 도입도 검토했으나, 엔진 이원화로 인한 운영 복잡성과 비용 증가 문제로 채택하지 않았습니다.

팩트RTM은 데이터가 도착하는 즉시 처리하는 연속 데이터 흐름 방식을 사용합니다. 또한 파이프라인 단계별 동시 실행과 스트리밍 셔플 기능을 통해 디스크 기반 셔플의 병목 현상을 제거했습니다.

주장단일 엔진 아키텍처를 유지함으로써 메이크마이트립은 비즈니스 로직을 재작성할 필요가 없어졌습니다. 이는 운영 복잡성을 줄이고 앞으로 생성형 인공지능(AI) 에이전트가 실시간 맥락을 활용하는 데 유리한 환경을 제공합니다.

팩트메이크마이트립은 기업과 소비자 간 거래(B2C) 및 기업 간 거래(B2B) 클릭스트림 데이터를 하나의 파이프라인으로 통합했습니다. 이를 통해 사용자 세그먼트 간 로직 차이를 없애고 일관된 개인화 서비스를 제공합니다.

팩트RTM 설정은 코드 한 줄 수정만으로 가능합니다. 트리거 타입을 RealTimeTrigger로 변경하면 기존 파이프라인 구조를 바꾸지 않고도 실시간 처리를 적용할 수 있습니다.

교차검증인프라 최적화를 위해 데이터브릭스와 협력하여 'MaxPartitions' 옵션을 도입했습니다. 이를 통해 하나의 코어에서 여러 카프카(Kafka) 파티션을 처리할 수 있게 되어 비용 효율성을 확보했습니다.

팩트대규모 트래픽 처리를 위해 체크포인트 빈도 조정, 백프레셔 관리, 타임아웃 설정을 최적화했습니다. 파티션당 최대 처리량을 500개 이벤트로 제한하여 시스템 안정성을 높였습니다.

출처데이터브릭스 공식 블로그의 메이크마이트립 실시간 개인화 사례를 교차 검증했습니다. (https://www.databricks.com/blog/how-makemytrip-achieved-millisecond-personalization-scale-databricks)