거대언어모델 추론 과정 탈취 취약점 분석

주장앤스로픽과 오픈AI 및 구글 등 주요 거대언어모델 기업은 클라이언트에게 암호화된 사고 과정 블록을 반환합니다. 연구진은 이 블록을 재사용하여 약한 모델을 탈옥시킴으로써 강력한 모델의 숨겨진 추론 내용을 평문으로 복구했습니다.

팩트연구진은 동일한 모델 제품군 안에서 같은 암호화 키가 사용된다는 점을 이용했습니다. 이들은 암호화된 블록을 하위 모델에 입력하여 모델이 스스로 추론 과정을 출력하도록 유도했습니다.

팩트클로드 하이쿠 사점오 모델이 공격에 가장 취약합니다. 연구진은 특정 프롬프트를 사용하여 모델이 추론 내용을 그대로 받아쓰도록 강제하는 방식을 사용했습니다.

교차검증현재 해당 취약점은 모두 수정되었습니다. 모든 모델 제공업체는 보고서를 접수한 뒤 즉각적인 조치를 취했으며, 현재는 같은 방식의 공격이 불가능합니다.

팩트모델이 출력한 원본 추론 데이터는 인간이 읽기 위한 용도가 아닙니다. 공개된 예시를 보면 모델은 누락된 스타일시트 코드를 작성할 때 파편화되고 기술적인 사고 과정을 거칩니다.

주장이번 연구는 모델이 자신의 추론 과정을 절대적인 것으로 간주한다는 점을 보여줍니다. 모델은 추론 블록 안에 포함된 지시사항을 높은 확률로 따르는 경향이 있으며, 이를 악용한 프롬프트 주입 공격이 가능합니다.

팩트연구진은 모델이 데이터를 외부 서버로 유출하도록 유도하는 프롬프트 주입 변종을 발견했습니다. 추론 과정에 포함된 악의적인 지시가 모델의 행동을 왜곡한다는 사실이 증명되었습니다.

교차검증앤스로픽은 사점육 버전 모델부터 사전 정의된 응답을 강제하는 기능을 제거했습니다. 이는 하이쿠 사점오에서 작동하던 특정 공격 경로를 원천 차단하기 위한 조치입니다.

팩트이번 연구는 스톨른 쏘츠 닷컴 도메인을 통해 발표되었습니다. 해당 연구는 거대언어모델의 내부 작동 방식과 보안 취약점에 대한 중요한 통찰을 제공합니다.

출처사이먼 윌리슨 블로그 및 알파엑시브에 게시된 연구 보고서를 교차 검증했습니다.