LLM

아마존웹서비스(AWS)가 아티피셜 지니어스와 협력하여 거대언어모델(LLM)의 환각 문제를 해결하는 결정론적 모델을 선보였습니다. 이 기술은 금융과 의료 등 규제가 엄격한 산업 분야에서 인공지능의 신뢰성을 높일 것으로 기대됩니다.

구글 리서치가 Gemini LLM을 활용해 150개국 뉴스 기사를 260만 건의 도시 홍수 데이터로 변환하는 Groundsource 방법론을 공개했습니다. 기존 재난 모니터링 체계가 감지하지 못한 소규모·단기 홍수를 포착하며 24시간 전 도시 홍수 예보를 가능하게 합니다.

LLM은 레이어가 깊어질수록 초반 레이어의 정보가 희석되는 구조적 결함을 안고 있습니다. 중국 AI 스타트업 Moonshot AI의 Kimi 팀이 이 문제를 소프트맥스 어텐션으로 대체하는 일명 어텐션 잔차(Attention Residuals) 기술로 해결했습니다. 코딩, 수학, 추론 등 모든 벤치마크에서 기준선을 상회했습니다.

LLM은 겉보기에 타당한 논리적 근거(Chain-of-Thought)를 제시하지만, 실제 의사결정 과정에서 내부적 편향을 숨길 수 있습니다. 채용·대출 승인·대학 입학 등에서 성별·인종뿐 아니라 언어 능력이나 문체에 따른 보이지 않는 편향이 확인되었습니다.

LLM은 겉보기에 타당한 논리적 근거를 제시하지만 실제 의사결정 과정에서 내부 편향을 숨길 수 있다는 연구 결과가 나왔다. 채용, 대출 승인 등에서 성별·인종뿐 아니라 언어 능력과 문체에 따른 보이지 않는 편향이 확인됐다. 모델이 제시하는 추론은 실제 결정 과정의 사후 정당화일 수 있다.

위험한 요청을 시 형식으로 바꾸면 대부분의 대화형 AI가 안전 규칙을 지키지 못한다는 연구 결과가 나왔다. 최신 LLM 25개를 대상으로 실험한 결과 전체 평균 탈옥 성공률이 62%에 달했다. 일부 모델은 90~100%에 도달했다.