프리즘ML, 아이폰 구동 가능한 27B 규모 본사이 모델 출시
프리즘ML이 스마트폰에서 작동하는 온디바이스 AI 모델 본사이 27B를 공개했습니다. 이 모델은 3.9GB 용량으로 아이폰 17 프로 맥스에서 구동이 가능합니다. 클라우드 의존도를 낮추고 개인정보 보호를 강화하는 기술적 진보를 이뤘습니다.
주장프리즘ML은 스마트폰의 제한된 자원 안에서도 추론과 에이전트 능력을 유지하는 본사이 27B 모델을 개발했습니다. 이 모델은 클라우드 의존도를 낮추고 개인정보 보호를 강화하는 온디바이스 인공지능의 핵심 기반이 됩니다.
팩트본사이 27B는 알리바바의 큐웬 3.6-27B 모델을 기반으로 설계되었습니다. 해당 모델은 다단계 추론과 도구 사용, 이미지 이해 및 에이전트 기반 작업을 지원합니다.
팩트프리즘ML은 신경망 가중치를 16비트 대신 1~2비트로 압축하는 기술을 적용했습니다. 가장 작은 버전은 3.9GB 용량으로 아이폰 17 프로 맥스의 가용 메모리 내에서 구동합니다.
팩트아이폰 17 프로 맥스에서 구동할 경우 초당 약 11개의 토큰을 생성합니다. 배터리 1%당 약 672개의 토큰을 생성하며, 완전 충전 시 약 6만 7천 개의 토큰을 처리합니다.
교차검증모델의 크기를 3.9GB 수준으로 압축하는 과정에서 이미지 이해나 지시 이행 능력은 다소 저하될 가능성이 존재합니다. 프리즘ML은 15개 벤치마크 테스트 결과, 작은 버전의 모델이 원본 대비 90%의 성능을 유지한다고 설명합니다.
교차검증바박 하시비 프리즘ML 최고경영자는 애플과 압축 기술 도입을 논의 중임을 확인했습니다. 다만 협상은 초기 단계이며, 애플은 속도와 전력 소모 및 성능을 다각도로 검증하고 있습니다.
주장온디바이스 인공지능은 클라우드 기반 모델이 겪는 토큰 비용과 네트워크 지연 문제를 해결합니다. 사용자의 개인 데이터가 외부로 유출되지 않도록 차단하여 보안성을 높입니다.
팩트본사이 27B 모델은 아파치 2.0 라이선스로 공개되었습니다. 현재 애플의 엠엘엑스 프레임워크와 엔비디아 그래픽처리장치 환경에서 구동을 지원합니다.
팩트프리즘ML은 코슬라 벤처스와 세르베루스, 구글 등으로부터 투자를 유치했습니다. 앞으로 구글의 젬마 모델 시리즈에도 자사의 압축 기술을 적용할 계획입니다.
출처더 디코더의 본사이 27B 관련 보도와 기술 백서를 교차 검증했습니다.
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
