AI 모델의 스타트업 경영 능력 평가 결과

주장프린스턴 대학교 연구진은 인공지능 에이전트의 장기적인 전략 수립 능력을 측정하기 위해 새로운 벤치마크인 'CEO-벤치(CEO-Bench)'를 개발했습니다. 이 테스트는 가상의 소프트웨어 회사를 500일 동안 운영하며 경영 성과를 평가합니다.

팩트테스트에 참여한 총 14개의 인공지능 모델 가운데 초기 자본금 100만 달러를 초과하는 수익을 달성한 모델은 3개에 불과합니다. 클로드 페이블 5가 4,715만 달러로 가장 높은 성과를 냈으며 클로드 오퍼스 4.8과 지피티 5.5가 그 뒤를 이었습니다.

교차검증인공지능을 사용하지 않은 단순 규칙 기반의 휴리스틱 알고리즘이 상위 3개 모델을 제외한 나머지 인공지능보다 우수한 성과를 보였습니다. 해당 알고리즘은 1,576만 달러의 수익을 기록하며 다수 인공지능 모델의 경영 능력을 앞질렀습니다.

팩트CEO-벤치는 파이썬 응용 프로그램 인터페이스(Python API)를 통해 34개의 도구와 19개의 데이터베이스 테이블을 활용하도록 설계되었습니다. 인공지능은 직접 코드를 작성하고 구조화 질의어(SQL) 쿼리를 수행하며 가격 책정, 광고 집행, 연구 개발 등 실제 경영과 유사한 의사결정을 내립니다.

교차검증많은 인공지능 모델이 단기 작업 수행에는 능숙하지만, 불확실성이 높고 피드백이 지연되는 장기 경영 환경에서는 일관된 전략을 유지하지 못했습니다. 대다수 모델은 시뮬레이션 종료 전 파산하거나 자본금을 모두 소진했습니다.

팩트연구진은 성공적인 경영을 위해 숨겨진 정보 파악, 미래 예측, 변화에 대한 빠른 적응, 장기 계획 수립 등 4가지 핵심 역량이 필요하다고 분석했습니다. 상위 3개 모델은 이러한 지표에서 평균 이상의 점수를 기록했습니다.

주장현재의 인공지능 에이전트는 개별 작업 수행 능력은 빠르게 향상되고 있으나, 기업 전체를 장기적인 목표로 이끄는 조향 지능은 여전히 부족합니다. 이는 단순 도구 활용 능력과 전략적 경영 능력 사이의 간극을 보여줍니다.

교차검증테스트 환경에서 사용된 소프트웨어 도구의 시스템 프롬프트가 오히려 인공지능의 성능을 저하시키는 요인이 되기도 했습니다. 코딩 보조 도구와 결합된 인공지능 에이전트들은 낮은 성과를 보이며 환경 설정의 중요성을 시사했습니다.

팩트시뮬레이션 기간을 50일로 단축하여 테스트했을 때도 대부분의 모델은 수익을 내지 못했습니다. 이는 인공지능이 단기 목표를 설정하더라도 여러 의사결정을 조율하는 데 여전히 취약하다는 점을 증명합니다.

주장이번 결과는 인공지능이 복잡한 비즈니스 환경에서 자율적인 의사결정을 내리기까지 상당한 기술적 보완이 필요함을 시사합니다. 단순한 데이터 처리를 넘어선 전략적 판단력 확보가 향후 인공지능 개발의 핵심 과제가 될 전망입니다.

교차검증인공지능의 경영 능력 평가는 시뮬레이션 환경의 변수에 따라 결과가 달라질 수 있습니다. 실제 시장의 복잡성과 돌발 변수를 완벽히 반영하기에는 현재의 테스트 모델이 가진 한계가 존재합니다.

출처더 디코더(The Decoder)의 보도 내용을 바탕으로 프린스턴 대학교의 CEO-벤치 연구 결과를 교차 검증했습니다.