AI 에이전트 개발, 인간의 판단력 통합이 핵심이다

주장인공지능(AI) 에이전트가 실질적인 업무를 수행하려면 문서화된 지식뿐만 아니라 조직 구성원의 암묵적 지식이 필요합니다. 개발 과정에 인간의 판단력을 통합하는 작업이 성공적인 자동화의 핵심입니다.

팩트금융 서비스 기업의 트레이더를 위한 코파일럿 사례는 에이전트 설계 원칙을 잘 보여줍니다. 데이터 과학자가 수동으로 수행하던 구조화 질의어(SQL) 쿼리 작업을 AI 에이전트가 자동화하면서 업무 효율성을 높였습니다.

팩트에이전트의 도구 설계 시 유연성과 제어력 사이의 균형을 맞추는 작업이 중요합니다. 일반적인 SQL 실행 도구는 유연하지만 위험이 따르며, 매개변수화된 쿼리 도구는 안전하지만 기능적 제약이 존재합니다.

교차검증거대언어모델(LLM)이 스스로 행동 순서를 결정할 수 있지만, 규제나 고위험 환경에서는 결정론적 코드를 사용하여 업무 흐름을 제어해야 합니다. 이는 지연 시간을 줄이고 토큰 사용량을 최적화하며 필수 단계의 실행을 보장하기 위함입니다.

주장에이전트의 맥락(Context) 엔지니어링은 단순히 시스템 프롬프트를 작성하는 수준을 넘어섭니다. 팀이 보유한 문서와 사례, 도메인 규칙을 체계적으로 구성하여 에이전트가 필요할 때 적절한 정보를 호출하도록 설계해야 합니다.

팩트앤스로픽(Anthropic)의 스킬즈(Skills) 표준은 에이전트에게 풍부한 맥락을 제공하는 최근 산업 흐름을 반영합니다. 이는 시스템 프롬프트의 비대화를 막으면서도 에이전트가 더 많은 지식을 활용하도록 돕습니다.

주장에이전트의 행동은 코드가 아닌 LLM의 실시간 추론으로 결정되기에 실제 환경에 배포하기 전까지 결과를 완벽히 예측하기 어렵습니다. 따라서 실제 사용자에게 에이전트를 노출하여 데이터를 수집하는 과정이 필수적입니다.

팩트랭체인(LangChain)은 성공적인 팀들이 에이전트를 빠르게 구축하고 배포한 뒤, 각 단계에서 데이터를 수집하여 개선하는 에이전트 개선 루프를 따른다고 분석했습니다. 이 루프를 여러 번 반복하는 작업이 고성능 에이전트 개발의 비결입니다.

교차검증인간이 모든 에이전트 결과물을 수동으로 검토하는 방식은 비효율적입니다. 인간이 자동화된 평가 도구를 직접 설계하고 보정하는 데 시간을 투자하는 것이 훨씬 더 높은 레버리지를 제공합니다.

출처랭체인 공식 블로그의 'Human judgment in the agent improvement loop' 게시물을 교차 검증했습니다.