LLM

홍콩중문대학 등 공동 연구진이 보이지 않는 과거 정보를 추론하고 행동하는 다중모달 거대언어모델(MLLM)의 능력을 평가하는 RNG-Bench를 발표했습니다. 이 연구는 모델이 단순히 현재 상황을 인지하는 것을 넘어, 과거 관측을 재구성하여 복잡한 게임 환경에서 의사결정을 내리는 능력을 측정합니다.

연구진은 확산형 거대언어모델(dLLM)을 위한 새로운 자기 증류 학습 기법인 d-OPSD를 제안했습니다. 기존 방식과 달리 미래 정보를 활용하는 방식으로 학습 효율을 10배가량 높였습니다.

아마존웹서비스(AWS)가 추측 디코딩의 순차적 병목 현상을 해결한 P-EAGLE 기술을 발표했습니다. 이 기술은 세이지메이커 점프스타트를 통해 주요 모델의 추론 처리량을 최대 4배까지 향상합니다.

거대언어모델이 스키마 마크업을 구조적 데이터로 이해한다는 통념은 사실과 다릅니다. 모델은 스키마를 단순 텍스트로 처리하며 검색 엔진과 다른 방식으로 작동합니다. 스키마 마크업의 역할을 명확히 구분해야 합니다.

싱가포르 국립대학교(NUS) 연구진이 대규모 언어 모델(LLM) 에이전트의 기억 처리 방식을 개선하는 'MRAgent' 프레임워크를 발표했습니다. 기존의 단순 검색 방식을 넘어 그래프 구조를 통해 기억을 능동적으로 재구성함으로써 추론 성능을 23% 향상했습니다.

왕쉬총 등 연구진이 대규모 언어 모델 에이전트의 의사결정 효율을 극대화하는 APPO 알고리즘을 발표했습니다. 이 기술은 기존의 거친 단위 학습 방식을 개선해 13개 벤치마크에서 성능을 4포인트 향상했습니다.

대규모 언어 모델의 한계를 극복하기 위해 전문화된 서브 에이전트를 활용한 연구 시스템 구축 방안을 제시합니다. 랭체인 딥 에이전트와 아마존 베드록 에이전트코어를 결합하여 안정적이고 효율적인 데이터 분석 환경을 구현합니다.

연구진이 3차원 게놈 구조와 후성유전학적 조절 기능을 통합 분석하는 인공지능 모델 HiCFoundation을 개발했습니다. 이 모델은 다양한 생물학적 연구에서 염색체 구조 분석의 효율성을 높일 것으로 기대됩니다.

앨런 인공지능 연구소가 거대언어모델 개발 전 주기를 지원하는 평가 도구 올모-이발을 공개했습니다. 이 도구는 개발 과정에서 발생하는 모델의 변화를 실시간으로 측정하고 분석합니다.

미니맥스 연구진이 대규모 언어 모델의 연산 비용을 획기적으로 줄이는 ‘미니맥스 희소 어텐션(MSA)’을 발표했습니다. 이 기술은 100만 토큰 규모의 문맥에서도 기존 대비 14배 이상의 추론 속도 향상을 실현했습니다.