0.4초 단위 실시간 반응 오픈소스 음성 모델 개발
연구진이 0.4초마다 오디오를 분석해 대화 여부를 결정하는 실시간 음성 모델을 개발했습니다. 30억 개의 파라미터로 다양한 작업을 동시에 수행하며, 관련 코드와 가중치를 오픈소스로 공개했습니다.
주장연구진은 기존 음성 모델이 녹음 종료 후 반응하던 한계를 넘어 인간처럼 자연스러운 대화를 유도하는 시스템을 구축했습니다. 이번 모델은 실시간으로 소리를 분석하며 대화의 흐름을 주도합니다.
팩트이 모델은 오디오 스트림을 0.4초 단위로 분할하여 처리합니다. 각 구간에서 'silent(침묵)' 혹은 'response(응답)'라는 특수 토큰을 출력하며 대화 지속 여부를 결정합니다.
팩트모델 학습에는 30만 2천 시간 분량의 오디오 데이터셋을 사용했습니다. 해당 데이터셋은 7개 영역과 28개 하위 작업으로 분류된 260만 개의 단위 데이터를 포함합니다.
팩트모델의 파라미터 규모는 30억 개입니다. 단일 모델 내에서 번역과 전사, 채팅, 일상 소음 반응 등 다양한 작업을 동시에 수행합니다.
교차검증0.4초라는 처리 단위는 성능과 지연 시간 사이의 최적화된 절충안입니다. 처리 단위를 0.2초로 설정하면 문맥 파악이 어렵고, 0.8초로 늘리면 응답 지연 시간이 786밀리초까지 증가합니다.
팩트모델은 프로액티브사운드(ProactiveSound) 벤치마크 테스트에서 제미나이 3 플래시(Gemini 3 Flash)를 앞섰습니다. 소음이 많은 환경에서도 불필요한 반응을 줄이고 정확한 응답을 생성합니다.
주장연구진은 실시간 처리를 위해 오디오 입력과 응답 생성을 병렬로 분리했습니다. 두 과정을 큐(Queue)로 연결하여 시스템 정지 현상을 방지하고 응답 속도를 개선했습니다.
교차검증학습 과정에서 긴 오디오 시퀀스 내의 이전 내용을 망각하는 문제가 발생했습니다. 연구진은 과거 내용을 질문하는 방식을 도입하여 모델의 장기 기억 능력을 강화했습니다.
팩트모델의 코드와 가중치는 아파치 2.0(Apache 2.0) 라이선스로 깃허브(GitHub)에 공개되었습니다. 상업적 이용에 제한이 없으며, 향후 전체 학습 데이터셋도 추가로 공개할 예정입니다.
출처더 디코더(The Decoder) 보도 및 관련 아카이브(Arxiv) 논문을 교차 검증했습니다.
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
