데이터브릭스·버추 재단, 인공지능 기반 의료 봉사 매칭 시스템 구축

주장데이터브릭스와 버추 재단은 인공지능 기술을 활용해 전 세계 의료 불균형 문제를 해결합니다. 양측은 의료진의 전문성과 개발도상국의 의료 수요를 정밀하게 매칭하는 것을 이번 협력의 핵심 목표로 삼습니다.

팩트버추 재단은 가나와 몽골을 중심으로 지금까지 5만 명 이상의 환자에게 의료 서비스를 제공했습니다. 재단은 현재 72개 저소득 및 중저소득 국가를 대상으로 의료 시설 데이터를 수집하고 관리하는 플랫폼을 운영합니다.

팩트데이터브릭스는 2024년부터 버추 재단과 협력해 방대한 웹 데이터를 구조화된 정보로 변환하는 작업을 수행합니다. 이들은 오픈소스 데이터셋인 오버추어 맵스와 웹 스크래핑 인프라인 브라이트 데이터를 주요 정보원으로 활용합니다.

팩트정보 추출 파이프라인은 오픈에이아이의 지피티 모델을 사용해 2,500만 개 이상의 웹 페이지를 처리합니다. 모델 호출 효율을 높이기 위해 의료 관련성 분류, 조직 유형 식별, 장비 및 절차 추출 등 단계별로 작업을 세분화했습니다.

교차검증대규모 언어 모델을 활용한 데이터 추출은 비용과 성능 측면에서 도전 과제를 안고 있습니다. 데이터브릭스는 아파치 스파크를 통해 작업을 병렬화하고 데이터 상태 기반 체크포인트를 설정해 불필요한 재처리를 방지합니다.

팩트데이터 통합 과정에서 발생하는 중복 문제를 해결하기 위해 스플링크라는 확률적 레코드 연결 프레임워크를 사용합니다. 전화번호나 주소 등 다양한 필드를 비교해 여러 소스에 흩어진 시설 정보를 하나의 권위 있는 기록으로 통합합니다.

팩트데이터 처리 과정에서 발생한 성능 병목 현상은 데이터브릭스의 벡터화 쿼리 엔진인 포톤을 통해 개선했습니다. 가장 느린 데이터 파티션 처리 시간을 30분에서 2분으로 단축해 약 15배의 성능 향상을 달성했습니다.

주장데이터브릭스는 의료 전문가가 자연어로 데이터를 분석할 수 있도록 랭그래프 기반의 멀티 에이전트 아키텍처를 도입했습니다. 이는 복잡한 의료 데이터를 누구나 쉽게 검색하고 분석할 수 있는 환경을 제공합니다.

교차검증인공지능 기반 시스템은 의료 현장의 효율성을 높이지만 데이터의 정확성과 최신성 유지는 지속적인 과제입니다. 시스템 신뢰도를 유지하기 위해 정기적인 데이터 업데이트와 검증 프로세스가 필요합니다.

출처데이터브릭스 공식 블로그 및 버추 재단 프로젝트 소개 영상을 통해 위 내용을 교차 검증했습니다.