오픈에이아이, 개인정보 삭제용 오픈소스 모델 공개

주장오픈에이아이(OpenAI)는 대규모 텍스트 데이터를 처리하는 기업과 개발팀을 위해 개인정보 정제용 프라이버시 필터(Privacy Filter) 모델을 공개했습니다. 이 모델은 인공지능 학습 데이터 준비나 제3자 데이터 공유 과정에서 발생하는 개인정보 유출 위험을 낮추는 역할을 합니다.

팩트프라이버시 필터는 15억 개의 파라미터(매개변수)를 가진 소형 모델로, 요청당 5천만 개의 활성 파라미터만 사용합니다. 덕분에 고성능 서버 없이 일반 노트북이나 웹 브라우저 환경에서도 구동이 가능합니다.

팩트해당 모델은 이름, 주소, 이메일, 전화번호, 웹 주소(URL), 날짜, 계좌번호, 비밀번호 및 응용 프로그램 인터페이스(API) 키 등 총 8가지 범주의 민감 정보를 탐지합니다. 12만 8천 토큰의 컨텍스트 윈도우를 지원하여 긴 문서를 분할하지 않고 한 번에 처리합니다.

팩트사용자는 모델의 민감도를 조정하여 개인정보 삭제 강도를 설정할 수 있습니다. 더 높은 정확도가 필요한 경우 사용자가 직접 자체 데이터셋을 활용해 모델을 추가로 미세 조정하는 작업도 가능합니다.

팩트프라이버시 필터는 아파치 2.0 라이선스로 깃허브(GitHub)와 허깅페이스(Hugging Face)에 공개되었습니다. 상업적 이용이 허용되어 기업들은 자사 서비스에 자유롭게 통합하여 활용할 수 있습니다.

팩트모델은 새로운 텍스트를 생성하는 대신 입력된 텍스트를 한 번 통과하며 개인정보를 라벨링하는 방식으로 작동합니다. 이는 기존 챗봇 모델들과 차별화된 데이터 처리 전용 모델로서의 특성을 보여줍니다.

교차검증오픈에이아이는 이 모델이 법적인 익명화나 규제 준수를 완벽하게 보장하지 않는다고 명시했습니다. 따라서 민감한 정보를 다루는 의료, 법률, 금융 분야에서는 반드시 사람이 직접 검토하는 과정을 거쳐야 합니다.

교차검증모델의 성능은 영어 이외의 언어나 라틴 문자가 아닌 언어에서 저하되는 경향이 있습니다. 또한 드물거나 지역적인 이름은 탐지하지 못할 가능성이 있으며, 유명인이나 공공기관명을 잘못 삭제하는 오류가 발생할 수 있습니다.

주장이번 모델 공개는 인공지능 산업에서 데이터 프라이버시 보호가 필수적인 요소로 자리 잡고 있음을 시사합니다. 클라우드 연결 없이 로컬 환경에서 데이터를 처리할 수 있다는 점은 보안을 중시하는 기업들에게 큰 장점이 됩니다.

출처더 디코더(The Decoder) 보도 내용과 깃허브 및 허깅페이스 공식 저장소의 기술 문서를 교차 검증했습니다.