오픈AI의 루프 트랜스포머 기술 도입과 신규 모델 출시 계획

팩트오픈AI는 올해 말까지 최소 한두 개의 새로운 인공지능 모델을 시장에 선보일 계획입니다. 현재 개발 중인 차세대 플래그십 모델은 정렬 작업과 테스트 인프라 보강이 필요하여 출시 시기가 불투명합니다.

팩트오픈AI는 아스트라 모델에 적용된 루프 트랜스포머 기술을 차세대 플래그십 모델에도 도입하고 있습니다. 루프 트랜스포머 기술은 데이터를 동일한 레이어에 여러 번 통과시켜 수학 및 코딩 성능을 향상하고 비용을 절감하는 효과를 냅니다.

팩트미국 정부의 행정 명령에 따라 오픈AI는 새로운 모델을 외부 파트너에게 공개하기 최소 30일 전에 정부에 먼저 제공해야 합니다. 정부에 대한 사전 제공 규제는 모델 출시 전 안전성 평가를 의무화하여 기술 도입 속도에 영향을 미칩니다.

팩트마이크로소프트는 최근 GPT-6.1 솔 모델에 대한 기술 문서를 공개하며 루프 추론 방식을 언급했습니다. 해당 문서는 모델이 답변을 생성하기 전 동일한 문제를 여러 번 반복해서 처리한다는 내용을 담고 있었으나 이후 삭제되었습니다.

팩트오픈AI는 아스트라 모델의 사고 과정을 가독성 있게 유지하기 위해 루프 횟수를 의도적으로 제한합니다. 루프 횟수 제한은 기술적 성능 향상과 안전한 모니터링 사이에서 균형을 맞추려는 회사의 전략적 판단입니다.

팩트오픈AI는 안전성 강화를 위해 전체 컴퓨팅 자원의 약 10퍼센트를 정렬 및 안전 분야에 할당했습니다. 컴퓨팅 자원 할당은 시장 가격으로 환산할 경우 연간 수십억 달러 규모의 데이터 센터 용량에 해당합니다.

주장오픈AI의 수석 과학자 야쿠프 파초키는 현재의 체인 오브 쏘트 모니터링 방식이 점차 취약해지고 있다고 경고했습니다. 그는 읽을 수 있는 추론 과정을 포기하는 업계의 경쟁적인 개발 흐름에 대해 우려를 표명했습니다.

교차검증루프 트랜스포머 기술은 모델의 사고 과정을 내부 수치로 변환하기 때문에 인간이 추론 과정을 직접 검토하기 어렵게 만듭니다. 기술적 특성은 안전성 연구원들이 모델의 잘못된 행동을 추적하는 체인 오브 쏘트 모니터링을 저해할 위험이 있습니다.

교차검증모델의 사고 과정이 내부 수치로 숨겨지면 외부 검증 기관이 모델의 편향성이나 위험한 추론을 사전에 탐지하기 어렵습니다. 오픈AI는 기술적 효율성보다 안전한 정렬 인프라 구축을 우선순위에 두고 있습니다.

출처더 디코더(https://the-decoder.com/openai-will-reportedly-ship-at-least-one-model-this-year-but-its-flagship-still-needs-alignment-work/) 및 디 인포메이션의 보도를 교차 검증했습니다.