코히어, 개발자용 노스 미니 코드 모델 공개

주장코히어는 에이전트 기반 소프트웨어 엔지니어링 작업을 위해 설계된 노스 미니 코드 모델을 공개했습니다. 이 모델은 복잡한 코딩 워크플로우와 터미널 기반 자동화 작업에서 높은 성능을 발휘하도록 최적화했습니다.

팩트노스 미니 코드는 300억 개의 파라미터를 가진 혼합 전문가 모델이며, 토큰당 30억 개의 파라미터가 활성화됩니다. 코히어는 해당 모델을 아파치 2.0 라이선스에 따라 허깅페이스를 통해 배포합니다.

팩트인공지능 분석 코딩 지수에서 노스 미니 코드는 33.4점을 기록했습니다. 이는 큐웬 3.5, 젬마 4 등 유사 규모 모델은 물론 1000억 파라미터가 넘는 대형 모델보다 우수한 수치입니다.

교차검증코딩 에이전트는 모델의 품질뿐만 아니라 다양한 환경에서의 견고함에 의존합니다. 코히어는 특정 환경에만 치중하지 않고 여러 스캐폴드를 사용하여 모델의 범용성을 확보했습니다.

팩트모델 구조는 디코더 전용 트랜스포머 기반의 희소 혼합 전문가 모델입니다. 128개의 전문가 블록 중 토큰당 8개가 활성화되며, 슬라이딩 윈도우 어텐션과 전체 어텐션을 3대 1 비율로 교차 적용합니다.

팩트학습 과정은 2단계 지도 미세 조정과 검증 가능한 보상을 활용한 강화 학습으로 구성됩니다. 2단계 미세 조정에서는 에이전트 및 추론 중심의 데이터 45억 토큰을 사용하며 코딩 데이터 비중을 61%까지 높였습니다.

팩트데이터 파이프라인은 컨테이너화된 코딩 환경을 기반으로 합니다. 개발팀은 약 5000개의 저장소에서 추출한 7만 개 이상의 검증 가능한 작업을 학습에 활용했습니다.

팩트평가 과정에서의 데이터 누출을 방지하기 위해 스웨 벤치 등 기존 데이터셋과의 중복을 제거했습니다. 이는 모델의 객관적인 성능 평가를 보장하기 위한 조치입니다.

주장코히어는 다단계 학습 방식을 통해 모델의 성능을 극대화했습니다. 짧은 데이터로 기초 성능을 다진 후 고품질의 긴 문맥 데이터를 학습하여 행동 충돌을 줄이고 성능을 개선했습니다.

팩트노스 미니 코드는 스웨 벤치 검증 데이터셋에서 80.2%의 패스@10 점수를 기록했습니다. 터미널 벤치 v2에서도 55.1%의 패스@10 점수를 달성하며 코딩 전문성을 입증했습니다.

교차검증코히어는 다양한 코딩 환경에서의 범용성을 위해 2단계 미세 조정 시 6%의 벤치마크 데이터를 추가했습니다. 이를 통해 오픈코드 등 다양한 인터페이스 환경에서도 성능 저하 없이 일관된 결과를 도출합니다.

출처허깅페이스 공식 블로그 및 코히어 코드 에이전트 팀 기술 문서를 통해 교차 검증했습니다.