AI 에이전트 개발 효율 높이는 '하니스 핸드북' 프레임워크 공개

팩트루한 왕을 포함한 다국적 연구진은 AI 에이전트의 코드 유지보수를 돕는 '하니스 핸드북(Harness Handbook)'을 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장현대 AI 에이전트의 성능은 기반 모델뿐만 아니라 이를 구동하는 하니스(Harness, 에이전트의 프롬프트 구성 및 도구 호출을 관리하는 시스템)의 설계에 달려 있습니다.

팩트하니스는 모델과 환경이 변화할 때마다 지속적인 수정이 필요합니다. 하지만 기존 시스템은 코드가 방대하고 복잡하게 얽혀 있어 특정 기능을 수정할 위치를 찾는 작업이 매우 어렵습니다.

주장개발자나 코딩 에이전트가 수정 사항을 반영하려면 시스템 전체에서 관련 코드를 일일이 찾아야 합니다. 이는 에이전트 진화 과정에서 가장 큰 병목 현상으로 작용합니다.

팩트연구진이 개발한 하니스 핸드북은 정적 분석(Static Analysis, 소스 코드를 실행하지 않고 구조를 분석하는 기법)과 거대언어모델(LLM)을 결합합니다. 이를 통해 코드베이스를 행동 중심의 구조로 자동 변환하여 코드와 기능을 연결합니다.

팩트또한 연구진은 '행동 유도형 점진적 공개(BGPD, Behavior-Guided Progressive Disclosure)'라는 새로운 방법론을 도입했습니다. 이 기술은 에이전트가 높은 수준의 행동 정의에서 시작해 구체적인 구현 세부 사항으로 접근하도록 안내합니다.

주장BGPD는 후보 코드 위치를 현재 소스 코드와 대조하여 검증함으로써 수정 계획의 정확도를 획기적으로 높입니다.

팩트두 가지 오픈소스 하니스 시스템을 대상으로 실험한 결과, 하니스 핸드북을 활용할 경우 행동 위치 파악과 수정 계획의 품질이 크게 개선되었습니다.

팩트특히 여러 모듈에 걸쳐 있거나 실행 빈도가 낮은 경로, 복잡한 상호작용이 필요한 코드 수정 작업에서 가장 높은 효율성 향상을 보였습니다.

팩트이 과정에서 에이전트가 계획을 수립할 때 사용하는 토큰(Token, 언어 모델이 처리하는 최소 단위) 사용량 또한 감소하는 성과를 거뒀습니다.

교차검증본 연구는 arxiv에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다.

교차검증해당 기술은 특정 오픈소스 하니스 환경에서 검증되었으나, 매우 방대하거나 비표준적인 구조를 가진 기업용 독점 시스템에서도 동일한 성능을 보장할지는 추가적인 범용성 검증이 필요합니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.13285)을 참고했습니다.