AI 에이전트, 실제 환경서 기술 활용 성능 급락

주장인공지능 에이전트가 외부 기술 문서를 참조해 작업을 수행하는 방식은 통제된 벤치마크 환경에서는 우수하지만, 실제 복잡한 환경에서는 성능이 급격히 하락합니다. 연구진은 현재의 기술 평가 방식이 에이전트에게 정답을 제공하는 수준에 머물러 실제 현장의 난관을 반영하지 못한다고 분석합니다.

팩트캘리포니아 대학교 산타바바라, 매사추세츠 공과대학교 컴퓨터과학·인공지능 연구소, MIT-IBM 왓슨 AI 연구소 연구진은 3만 4,198개의 실제 오픈소스 기술 데이터를 활용해 6단계의 현실적 시나리오를 검증했습니다. 실험에는 클로드 오퍼스 4.6, 키미 K2.5, 큐웬 3.5-397B 모델이 참여해 기술 검색부터 작업 수행까지 전 과정을 독립적으로 수행했습니다.

팩트클로드 오퍼스 4.6 모델은 큐레이션된 기술을 직접 제공받았을 때 55.4%의 성공률을 보였습니다. 반면 스스로 기술을 검색하고 적용해야 하는 현실적인 환경에서는 성공률이 38.4%까지 하락했습니다. 이는 기술 없이 작업할 때의 기본 성공률인 35.4%와 큰 차이가 없는 수치입니다.

교차검증성능이 낮은 키미 K2.5와 큐웬 3.5-397B 모델은 기술을 활용할 때 오히려 성능이 저하되는 역효과를 보였습니다. 불필요하거나 관련 없는 기술 정보를 처리하는 과정에서 모델의 자원이 낭비되어 작업 효율이 기본 상태보다 떨어지는 결과가 나타났습니다.

팩트연구진은 에이전트가 기술을 선택하고 검색하며 적응하는 과정에서 세 가지 주요 병목 현상을 확인했습니다. 에이전트는 적절한 기술이 존재함에도 이를 인지하지 못하거나, 검색 과정에서 노이즈가 섞인 방대한 데이터 속에서 길을 잃는 경우가 빈번했습니다.

주장에이전트가 스스로 기술을 개선하는 작업 특화 정제 전략은 성능 향상에 도움을 주지만, 이는 기존에 검색된 기술의 질이 높을 때만 효과가 있습니다. 정제 과정은 새로운 지식을 창조하기보다 이미 확보된 정보의 가치를 배가하는 역할을 수행합니다.

팩트과거 버셀의 연구에서도 에이전트가 가용 기술의 56%를 아예 검색하지 않는다는 사실이 밝혀졌습니다. 단순한 마크다운 문서인 에이전트 닷엠디를 문맥에 포함하는 방식이 복잡한 기술 시스템보다 더 높은 작업 성공률을 기록하기도 했습니다.

교차검증연구진은 에이전트가 기술을 검색하는 최적의 방법으로 에이전트 하이브리드 검색을 제시했습니다. 이는 에이전트가 반복적으로 검색어를 작성하고 후보군을 검토하며 전략을 수정하는 방식인데, 단순 의미론적 검색보다 18.7% 포인트 높은 성능을 보였습니다.

주장이번 연구는 현재의 인공지능 에이전트 생태계가 모델의 실제 능력과 기술 활용 환경 사이의 괴리를 해결하지 못하고 있음을 시사합니다. 앞으로 더 나은 검색 알고리즘과 모델의 역량에 맞춘 기술 생태계 구축이 필요합니다.

출처더 디코더의 보도 내용 및 관련 연구진의 스킬스벤치 프로젝트 자료를 교차 검증했습니다.