공공 부문 인공지능 도입을 위한 소형 언어 모델 활용 전략

주장공공 부문은 민간 기업과 달리 보안과 거버넌스, 운영 환경에서 엄격한 제약을 받습니다. 이러한 특수성으로 인해 범용적인 대규모 언어 모델(LLM)보다는 특정 목적에 맞게 설계된 소형 언어 모델(SLM)이 더 적합한 대안입니다.

팩트캡제미니의 연구에 따르면 전 세계 공공 부문 경영진의 79퍼센트가 인공지능(AI)의 데이터 보안 문제에 우려를 표합니다. 정부 데이터의 민감성과 법적 의무 사항이 민간 부문보다 훨씬 높기 때문입니다.

교차검증민간 부문은 클라우드 연결성과 중앙 집중식 인프라를 활용하지만, 공공 기관은 인터넷 연결이 제한적인 환경에서 운영하는 경우가 많습니다. 엘라스틱의 조사 결과, 공공 부문 리더의 65퍼센트가 실시간 데이터 활용에 어려움을 겪습니다.

팩트공공 기관은 그래픽 처리 장치(GPU) 인프라 관리 경험이 부족하며, 이를 확보하는 과정이 운영의 병목 현상으로 작용합니다. 따라서 복잡한 인프라가 필요한 대규모 모델보다 로컬 환경에서 구동 가능한 소형 모델이 현실적인 해결책입니다.

주장소형 언어 모델은 수십억 개의 매개변수만을 사용하여 계산 자원 소모를 대폭 줄입니다. 이를 통해 공공 기관은 데이터를 외부 클라우드로 전송하지 않고 내부에서 안전하게 관리하며 AI를 운용합니다.

팩트가트너는 2027년까지 소형 특화 AI 모델의 사용량이 대규모 언어 모델보다 3배 더 많아질 것으로 예측합니다. 이는 AI 도입의 흐름이 거대 모델 중심에서 효율성과 목적 중심의 모델로 이동함을 보여줍니다.

주장공공 부문 AI 도입의 첫 단계는 챗봇이 아닌 검색 기능의 고도화가 되어야 합니다. 정부가 보유한 방대한 비정형 데이터를 인덱싱하고 검색하는 것만으로도 행정 효율성을 획기적으로 높입니다.

팩트소형 언어 모델은 스마트 검색과 벡터 검색, 검증 가능한 소스 접지 기술을 활용하여 정확한 답변을 제공합니다. 이는 AI가 생성하는 환각 현상을 줄이고 법적 규제와 감사 요구 사항을 충족합니다.

교차검증대규모 언어 모델은 학습 데이터의 시점 문제로 최신 정보 반영에 한계가 있으며 환각 현상이 발생하기 쉽습니다. 반면 소형 언어 모델은 검증된 소스를 기반으로 작동하도록 설계되어 신뢰성을 확보합니다.

출처MIT 테크놀로지 리뷰의 '제한된 공공 부문 환경에서 AI 운영하기' 보고서를 교차 검증했습니다.