미로(Miro)의 아마존 베드록 기반 버그 관리 자동화 도입

주장소프트웨어 개발 현장에서 버그를 적절한 팀에 신속하게 배정하는 작업은 개발자 생산성과 제품 품질을 결정짓는 핵심 요소입니다. 버그 분류 과정에서 발생하는 오류는 불필요한 업무 전환을 유발하며 개발자의 피로도를 높이는 주요 원인이 됩니다.

팩트미로는 버그 오분류와 반복적인 재배정 문제로 인해 연간 약 42년 분량의 생산성 손실이 발생한다고 분석했습니다. 이러한 비효율을 해결하고자 미로는 아마존 웹 서비스와 협력하여 버그 관리 자동화 솔루션인 버그매니저를 개발했습니다.

팩트버그매니저 도입 이후 미로는 팀 간 버그 재배정 횟수를 6배 줄였습니다. 또한 버그 해결에 소요되는 시간을 기존 며칠 단위에서 몇 시간 단위로 5배 단축했습니다.

교차검증기존의 버트(BERT) 모델이나 미세 조정된 지피티(GPT) 모델은 조직 구조가 변경될 때마다 재학습이 필요하다는 한계가 있었습니다. 미로는 이러한 정적인 모델의 제약을 극복하기 위해 재학습이 필요 없는 검색 증강 생성(RAG) 기반의 거대언어모델(LLM) 방식을 선택했습니다.

팩트버그매니저는 아마존 노바 프로의 멀티모달 기능을 활용하여 스크린샷과 동영상 등 비텍스트 데이터를 분석합니다. 또한 아마존 베드록 지식 베이스를 통해 깃허브, 컨플루언스 등 내부 문서에서 관련 맥락을 추출합니다.

주장버그 분류의 정확도를 높이기 위해서는 텍스트 분석을 넘어 제품 문서와 과거 해결 사례를 결합하는 과정이 필수적입니다. 미로는 이를 위해 앤스로픽의 클로드 소넷 3.5 모델을 활용하여 최적화된 분류 프롬프트를 생성합니다.

팩트버그매니저는 슬랙 기반의 워크플로우를 통해 개발자 커뮤니티에 제공됩니다. 사용자가 버그를 보고하면 시스템은 우선순위에 따라 최대 5개의 적합한 팀을 제안하며, 근본 원인 분석까지 선택적으로 제공합니다.

팩트시스템은 파이썬 마이크로서비스 형태로 아마존 이케이에스(EKS) 클러스터에서 운영됩니다. 버그 보고서가 접수되면 아마존 에스쓰리(S3)에 저장된 미디어 파일을 분석하고, 검색 증강 생성 기술로 보강된 정보를 바탕으로 최종 팀 배정을 수행합니다.

교차검증미디어 파일 분석 시 거대언어모델이 제품 맥락을 잘못 이해할 위험이 존재합니다. 이를 방지하기 위해 미로는 버그 텍스트를 먼저 분석하여 관련 기능을 파악한 뒤, 해당 정보를 바탕으로 이미지를 해석하는 2단계 검색 증강 생성 프로세스를 적용했습니다.

출처아마존 웹 서비스 공식 블로그(https://aws.amazon.com/blogs/machine-learning/how-miro-uses-amazon-bedrock-to-boost-software-bug-routing-accuracy-and-improve-time-to-resolution-from-days-to-hours/)를 통해 위 내용을 교차 검증했습니다.