LFM2.5-DSpark 추론 속도 최대 3.2배 향상

주장리퀴드 인공지능은 엘에프엠 2.5 모델군에 적용 가능한 디스파크 초안 모델 체크포인트를 공개했습니다.

팩트이번에 공개된 모델은 엘에프엠 2.5 1.2비 인스트럭트, 엘에프엠 2.5 2.6비, 엘에프엠 2.5 8비 에이원비 등 총 3종입니다.

팩트이 모델들은 추론 시 그래픽 처리 장치 환경에서 최대 3.18배, 온디바이스 환경에서 최대 2.87배의 처리량 개선을 달성했습니다.

팩트디스파크는 경량화된 초안 모델로 후보 토큰을 생성하고 타겟 모델이 이를 검증하는 추측적 디코딩 방식을 사용합니다.

팩트타겟 모델은 단일 순방향 패스로 모든 토큰을 검증하여 가중치 로딩 비용을 공유합니다.

팩트디스파크 기술은 디플래시 스타일의 병렬 백본, 토큰 간 의존성을 높이는 마르코프 체인 기반의 순차 헤드, 신뢰도 기반의 검증기로 구성됩니다.

팩트각 초안 모델은 약 3억 개의 파라미터로 구성됩니다.

교차검증엘에프엠 2.5 8비 에이원비 모델의 경우 온디바이스 환경에서 평균 18%의 속도 향상에 그쳤습니다.

팩트이는 라마 시피피의 메탈 백엔드에서 혼합 전문가 모델을 처리할 때 발생하는 가중치 트래픽 증가가 원인입니다.

팩트이번 업데이트로 함수 호출 지연 시간이 엘에프엠 2.5 2.6비 모델 기준 평균 57% 감소했습니다.

팩트디스파크는 라마 시피피 및 에스지랭크 프레임워크를 공식 지원합니다.

팩트사용자는 허깅 페이스에서 사프텐서 및 지지지유에프 형식으로 제공되는 체크포인트를 즉시 다운로드합니다.

주장추측적 디코딩 방식은 타겟 모델 분포와 일치하는 토큰만 수용하여 출력 품질 손실이 없습니다.

팩트엘에프엠 2.5 2.6비 모델은 엠포 맥스 맥북 프로 환경에서 초당 약 140토큰 이상의 처리량을 기록했습니다.

출처리퀴드 인공지능 공식 블로그(https://www.liquid.ai/blog/lfm25-dspark) 및 허깅 페이스 기술 문서를 교차 검증했습니다.