랭체인, 에이전트 성능 개선 위한 베터 하니스 공개

주장랭체인은 인공지능 에이전트의 성능을 높이기 위해 평가 데이터인 이벌스(Evals)를 학습 신호로 활용하는 베터 하니스(Better-Harness) 시스템을 제안합니다. 이는 에이전트가 특정 데이터에만 반응하지 않고 실제 환경에서 일반화된 성능을 발휘하도록 돕는 복합 시스템 엔지니어링 방식입니다.

팩트베터 하니스는 평가 데이터를 에이전트의 학습 데이터로 간주하여, 에이전트가 올바른 행동을 수행했는지 여부를 신호로 삼아 하니스를 수정합니다. 이 과정은 데이터 소싱, 실험 설계, 최적화, 검토 및 승인의 단계로 구성됩니다.

팩트평가 데이터는 직접 작성한 데이터, 실제 운영 환경의 트레이스(Trace), 외부 데이터셋 등 세 가지 경로로 수집됩니다. 모든 평가 데이터에는 행동 카테고리 태그를 부착하여 타겟팅된 실험과 비용 효율적인 테스트를 수행합니다.

교차검증에이전트 학습 시스템은 기존 평가 데이터에만 과도하게 맞춰지는 과적합(Overfitting) 문제에 취약합니다. 랭체인은 데이터를 최적화 세트와 홀드아웃 세트로 분리하여 보지 못한 데이터에서도 성능이 유지되는지 검증합니다.

팩트랭체인은 스탠포드의 메타 하니스(Meta-Harness) 및 딥마인드의 오토 하니스(Auto-Harness) 연구 흐름을 참고했습니다. 이들은 하니스 개선 루프를 통해 터미널 벤치 2.0의 성능을 향상시키는 등 하니스 계층 최적화의 중요성을 강조합니다.

주장품질이 낮은 대규모 데이터보다 잘 태깅된 소규모 평가 데이터 세트가 에이전트의 일반화 성능 향상에 더 효과적입니다. 에이전트가 보상 해킹을 통해 평가 점수만 높이는 상황을 방지하려면 인간의 검토를 병행해야 합니다.

팩트베터 하니스의 최적화 루프는 진단, 실험, 검증, 인간 검토의 단계를 거칩니다. 각 단계에서 에이전트는 성능 저하를 방지하면서 새로운 평가 데이터를 통과할 수 있도록 프롬프트나 도구 설명을 수정합니다.

팩트실제 적용 사례로 클로드 소넷 3.5와 지아이(Z.ai)의 지엘엠(GLM)-5 모델을 사용하여 평가 데이터의 일부를 테스트했습니다. 랭체인은 앞으로 다양한 모델에 대한 프로필을 공개하여 각 모델이 특정 평가 데이터에 어떻게 최적화되는지 공유할 계획입니다.

교차검증자동화된 최적화 과정에서 인간의 검토는 필수적인 안전장치입니다. 인간은 자동화 시스템이 놓칠 수 있는 에지 케이스를 확인하고, 최적화 세트에 과적합된 불필요한 토큰 낭비를 방지합니다.

출처랭체인 공식 블로그(https://blog.langchain.com/better-harness-a-recipe-for-harness-hill-climbing-with-evals/)를 교차 검증했습니다.