서브쿼드라틱, LLM 연산 병목 해결 기술 공개

주장서브쿼드라틱은 대규모 언어 모델(LLM)의 발전을 저해하던 10년 된 수학적 병목 현상을 해결했다고 지난달 발표했습니다. 이들은 자체 개발한 '서브큐(SubQ)' 모델이 기존 시장의 모델보다 빠른 속도와 높은 에너지 효율을 갖췄다고 설명합니다.

팩트대규모 언어 모델의 근간인 트랜스포머 구조는 '밀집 어텐션(dense attention)' 방식을 사용합니다. 이는 텍스트 길이가 길어질수록 연산량이 기하급수적으로 증가하는 이차 확장 문제를 안고 있습니다.

팩트1만 단어의 텍스트를 처리할 때 약 5천만 번의 개별 곱셈 연산이 발생합니다. 이러한 연산 구조는 대규모 언어 모델이 막대한 전력을 소비하는 주된 원인으로 꼽힙니다.

주장서브쿼드라틱은 밀집 어텐션 대신 '희소 어텐션(sparse attention)' 방식을 도입하여 연산량을 획기적으로 줄였습니다. 모든 단어 간의 관계를 계산하는 대신 문맥상 중요한 관계만을 동적으로 선택하여 계산 효율을 극대화했습니다.

교차검증초기에는 서브쿼드라틱이 자체 테스트 결과만을 제시함에 따라 업계의 회의적인 시선이 존재했습니다. 일부 전문가는 해당 기술의 혁신성 여부에 관해 신중한 반응을 보였습니다.

팩트서브쿼드라틱은 제3자 평가 기관인 '애픈(Appen)'을 통해 독립 테스트 결과를 공개하며 기술 검증에 나섰습니다. 애픈의 생성형 인공지능 연구 책임자인 지닌 시나난-싱은 서브큐 아키텍처가 모델의 속도와 비효율성 문제를 해결할 잠재력을 갖췄다고 평가했습니다.

팩트애픈의 테스트 결과에 따르면 서브큐는 기존 희소 어텐션 기술인 '플래시 어텐션(FlashAttention)'보다 이론상 56배 빠른 속도를 기록했습니다.

팩트실전 코딩 문제 풀이 벤치마크인 '라이브코드벤치(LiveCodeBench)'에서 서브큐는 89.7%의 점수를 획득했습니다. 이는 최상위권 모델들과 대등한 성능 수준입니다.

팩트비용 효율성 측면에서 서브쿼드라틱은 엔비디아의 '룰러(RULER) 128' 테스트를 기준으로 결과를 제시했습니다. 앤스로픽의 모델로 2,600달러가 소요되는 작업을 서브큐는 8달러로 수행합니다.

팩트서브큐는 최대 1,200만 토큰의 컨텍스트 윈도우를 지원합니다. 이는 현재 대부분의 최상위 모델이 제공하는 100만 토큰보다 12배가량 큰 규모입니다.

주장저스틴 댕겔 서브쿼드라틱 공동 창업자는 앞으로 몇 년 안에 트랜스포머 구조 기반의 모델 구축 시대가 저물 것이라고 전망했습니다. 이들은 자사 기술이 대규모 언어 모델 효율성의 새로운 시대를 여는 계기가 되기를 기대합니다.

출처MIT 테크놀로지 리뷰의 2026년 6월 19일 자 보도를 통해 해당 내용을 교차 검증했습니다.