'CLAUDE.md' 파일, 성능을 더 하락시킨다?

팩트코딩 에이전트를 특정 목적에 맞추기 위해 컨텍스트 파일을 제공하는 관행이 널리 퍼져 있습니다. 연구진은 기존 'SWE-BENCH LITE'와 실제 깃허브 이슈를 기반으로 새롭게 구축한 'AGENTBENCH'를 활용해 이를 평가했습니다.

주장연구에 따르면, 개발자가 제공한 md 파일은 파일이 없을 때보다 평균 4%의 미미한 성능 향상을 보였습니다. 반면 LLM이 생성한 md 파일(컨텍스트 파일)은 에이전트의 성능을 평균 3% 감소시켰습니다.

주장컨텍스트 파일이 주어지면 에이전트는 테스트와 탐색 범위를 넓혀 작업 단계를 증가시킵니다. 이는 평균 20% 이상의 불필요한 추론 비용 상승을 초래합니다.

주장컨텍스트 파일 내부의 추가 지시를 처리하기 위해 더 많은 추론 토큰을 소비하므로 작업 난이도가 높아집니다. 에이전트 개발사의 권장 사항과 달리 LLM 생성 파일은 생략하는 것이 유리합니다.

주장연구는 인간이 작성하는 컨텍스트 파일은 도구 사용법 등 최소한의 필수 요건만 명시해야 한다고 주장합니다. LLM이 생성한 파일은 기존 문서 내용과 중복되는 경향이 강합니다.

주장기존 문서를 모두 제거한 통제 환경에서만 LLM 생성 파일이 성능을 2.7% 향상시켰습니다. 이는 잘 알려지지 않은 저장소에 문서가 전혀 없을 때만 파일이 제한적으로 유용함을 시사합니다.

교차검증에이전트가 지시를 무시해서 성능이 저하되는 것은 아닙니다. 에이전트는 컨텍스트 파일에 언급된 도구를 실제로 더 많이 사용합니다.

교차검증그러나 저장소 구조를 파악하는 용도로는 컨텍스트 파일이 효과적이지 않습니다. 파일이 존재해도 에이전트가 관련 파일을 찾는 데 걸리는 탐색 단계 수는 유의미하게 줄어들지 않습니다.

교차검증해당 연구는 주로 파이썬 언어 환경에 집중했습니다. 파이썬은 모델 훈련 데이터에 풍부하게 포함되어 있어 컨텍스트 파일이 주는 추가 정보의 효과가 무효화되었을 가능성이 있습니다. 훈련 데이터 비중이 낮은 비주류 프로그래밍 언어나 도구 체인에서는 다른 결과가 나타날 여지가 있습니다.

출처Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev, Martin Vechev. (2026). Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents? arXiv:2602.11988v1.