사이버 보안 특화 소형 모델 CyberSecQwen-4B 개발

주장사이버 보안 분야에서는 범용 거대 모델보다 로컬 환경에서 구동하는 소형 특화 모델이 필수적입니다. 보안 분석가는 민감한 데이터를 외부 응용 프로그램 인터페이스(API)로 전송해서는 안 되며, 로컬 모델은 데이터 유출을 원천 차단합니다.

팩트CyberSecQwen-4B는 40억 개의 파라미터를 가진 모델로, 12기가바이트 용량의 소비자용 그래픽 카드에서도 구동합니다. 이 모델은 80억 개의 파라미터를 가진 기존 모델과 비교해도 보안 위협 인텔리전스 작업에서 대등하거나 더 우수한 성능을 보입니다.

교차검증범용 모델은 사용 시마다 발생하는 API 호출 비용이 보안 관제 업무의 예산 부담을 가중시킵니다. 또한 중요 인프라나 정부 기관 등 폐쇄망 환경에서는 외부 클라우드 기반 모델을 사용할 수 없는 제약이 존재합니다.

팩트벤치마크 결과에 따르면 CyberSecQwen-4B는 기존 시스코(Cisco)의 Foundation-Sec-Instruct-8B 모델 대비 사이버 위협 인텔리전스 다지선다형 질문(CTI-MCQ) 점수에서 8.7포인트 높은 성능을 기록했습니다. 사이버 위협 인텔리전스 검색 및 생성 모델(CTI-RCM) 정확도는 기존 모델의 97.3퍼센트 수준을 유지하면서도 모델 크기를 절반으로 줄였습니다.

팩트연구진은 이번 모델을 에이엠디(AMD) 인스팅트(Instinct) MI300X 192기가바이트 그래픽 처리 장치(GPU) 환경에서 학습했습니다. 알오씨엠(ROCm) 7.0 스택과 브이엘엘엠(vLLM)을 활용하여 양자화 기법 없이도 비에프(bf)16 정밀도로 전체 파이프라인을 처리했습니다.

주장사이버 보안 공격자는 이미 자동화된 도구를 사용하여 피싱 메일 작성이나 취약점 탐색을 수행합니다. 방어자 역시 공격자와 동일한 속도로 대응하기 위해 직접 소유하고 로컬에서 실행할 수 있는 모델이 필요합니다.

팩트학습 데이터는 마이트레(MITRE)와 엔브이디(NVD)의 2021년 공통 취약점 노출(CVE) 및 공통 약점 열거(CWE) 매핑 자료를 정제하여 구성했습니다. 평가 데이터와의 중복을 사전에 제거하여 벤치마크 결과의 신뢰성을 확보했습니다.

팩트베이스 모델로는 큐웬(Qwen)3-4B-인스트럭트(Instruct)-2507을 사용했습니다. 기존 지시어 튜닝 모델이 가진 답변 형식을 유지하면서도 사이버 보안 도메인에 특화된 지식을 추가로 학습시켜 성능을 개선했습니다.

교차검증연구진은 동일한 학습 레시피를 적용하여 젬마(Gemma)-4-E2B 기반의 젬마포디펜스(Gemma4Defense)-2B 모델도 제작했습니다. 두 모델의 성능 차이는 미미했으며, 이는 모델의 아키텍처보다 학습 방법론이 도메인 특화 성능에 더 큰 영향을 미침을 시사합니다.

출처허깅페이스(Hugging Face) 블로그의 사이버 보안 모델 개발 보고서를 교차 검증했습니다. (https://huggingface.co/blog/lablab-ai-amd-developer-hackathon/cybersecqwen-4b)