인공지능 모델의 인물 인식 수준 확인 도구 '인 더 웨이츠'

주장인 더 웨이츠(In the Weights) 웹사이트는 거대 언어 모델(LLM)이 학습 과정에서 특정 인물을 얼마나 중요하게 인식하는지 확인하는 도구입니다. 모델의 가중치에 이름이 저장된 상태는 별도의 검색 도구 없이도 인공지능이 해당 인물을 기억함을 의미합니다.

팩트이 사이트는 여러 인공지능 모델에 특정 인물 정보를 질의한 뒤 결과를 종합하여 강도 점수를 산출합니다. 마티아스 바스티안은 175점, 막시밀리안 슈라이너는 262점의 점수를 기록했습니다.

팩트리더보드에 따르면 가장 높은 강도 점수는 996점입니다. 해당 점수는 모차르트, 셰익스피어, 테일러 스위프트와 같은 유명 인사들에게 부여되었습니다.

팩트인 더 웨이츠는 오픈에이아이(OpenAI) 출신 조이 플린과 토마스 딤슨이 공동으로 개발했습니다. 이들은 인공지능 모델의 내부 구조를 시각화하여 대중이 이해하기 쉽게 만들었습니다.

팩트인 더 웨이츠는 사용자가 입력한 이름을 바탕으로 모델별 반응을 실시간으로 분석합니다. 사용자는 자신이 인공지능의 학습 데이터 내에서 어느 정도의 비중을 차지하는지 가늠합니다.

주장인공지능의 지식은 모델의 가중치라는 수십억 개의 수치 값에 인코딩되어 저장됩니다. 이는 인공지능이 학습 데이터를 통해 습득한 정보를 어떻게 구조화하는지 보여주는 지표입니다.

교차검증인공지능 모델의 크기가 작을수록 특정 인물이 결과에 나타나기는 어렵습니다. 메타의 라마(Llama)와 같이 매개변수가 적은 모델에서 이름이 검색된다면 해당 인물은 매우 높은 관련성을 가집니다.

교차검증인공지능 모델은 전기적 세부 사항을 잘못 생성하는 환각 현상을 보일 수 있습니다. 이름의 오타나 흔한 이름은 점수 산출에 부정적인 영향을 미치며 정확도를 떨어뜨립니다.

교차검증이 서비스는 인공지능의 기억력을 측정하는 방식이지만 기술적 한계가 명확합니다. 모델이 정보를 기억하는 방식이 인간의 기억과 다르므로 점수가 곧 인물의 사회적 가치를 대변하지는 않습니다.

주장인 더 웨이츠는 모델이 특정 인물을 학습 데이터의 핵심 요소로 분류했는지 파악하는 데 유용합니다. 이는 인공지능의 지식 체계를 정량적으로 평가하려는 시도입니다.

주장인공지능의 지식 구조를 시각화하는 이러한 도구는 모델의 투명성을 높입니다. 사용자는 인공지능이 정보를 처리하는 방식을 더욱 직관적으로 이해합니다.

출처더 디코더(The Decoder) 및 인 더 웨이츠 공식 웹사이트를 교차 검증했습니다.