세계은행의 데이터브릭스 도입을 통한 빈곤 퇴치 전략 가속화

주장세계은행 그룹은 데이터와 인공지능 플랫폼을 통합하여 빈곤 퇴치라는 조직의 핵심 임무를 수행합니다. 방대한 양의 데이터를 실행 가능한 통찰로 전환하는 과정이 이번 프로젝트의 주요 목표입니다.

팩트세계은행은 매달 300만 건 이상의 출판물을 배포하며 수천만 개의 문서를 지식 저장소에 보유합니다. 조직은 이러한 방대한 지식을 체계화하여 연구원과 실무자의 의사결정을 지원합니다.

팩트과거에는 온프레미스 데이터베이스의 한계로 인해 구조화된 데이터 관리가 어려웠습니다. 연구원들은 비정형 문서 라이브러리를 일일이 수동으로 검색해야 하는 비효율적인 상황을 겪었습니다.

팩트데이터브릭스의 유니티 카탈로그는 데이터 거버넌스를 위한 단일 인터페이스를 제공하며 기술적 전환점이 되었습니다. 데이터브릭스 볼륨은 비정형 문서와 구조화된 데이터를 동일한 플랫폼에서 관리하도록 지원합니다.

팩트지니 기술을 통해 비기술직 사용자도 구조화된 데이터에 자연어로 질문할 수 있습니다. 또한 인공지능 게이트웨이는 시스템이 복잡해짐에 따라 에이전트 접근 제어와 비용 관리를 중앙화합니다.

주장세계은행은 단순한 결과 중심의 보고에서 벗어나 실질적인 성과 중심의 평가로 전환합니다. 도로 건설 거리와 같은 출력물 측정 대신 창출된 일자리와 연결성 개선 등 사회적 가치를 우선합니다.

교차검증초기 지니 도입 당시 구조화된 쿼리에서 일관되지 않은 결과가 발생하는 문제가 있었습니다. 세계은행 팀은 메트릭 계층을 구현하여 재무 및 운영 보고에 필요한 결정론적 답변을 확보했습니다.

팩트여러 도메인에 걸친 복잡한 질문을 처리하기 위해 에이전트 계층을 추가로 구축했습니다. 의도 분류기, 도메인 분류기, 쿼리 분해기는 질문을 분석하고 적절한 에이전트로 라우팅하여 단일 응답을 생성합니다.

팩트시스템 확장 전 아프리카와 동아시아 태평양 지역의 비정부기구 및 정부 관계자를 대상으로 외부 피드백을 수집했습니다. 조직은 인공지능 비즈니스 인텔리전스를 활용해 사용자 질문 패턴과 데이터 격차를 분석하며 시스템의 실효성을 검증했습니다.

팩트현재 플랫폼은 매달 300만 건의 문서 다운로드를 지원하며 트래픽의 절반은 저소득 및 중소득 국가에서 발생합니다. 사용자 피드백 프로토타입은 약 2.5일 만에 구축되어 과거 2년이 걸릴 것으로 예상되던 작업을 획기적으로 단축했습니다.

출처세계은행 그룹의 데이터브릭스 활용 사례는 데이터브릭스 공식 블로그를 통해 교차 검증했습니다. (https://www.databricks.com/blog/how-world-bank-group-uses-databricks-eradicate-poverty-through-shared-knowledge)