연세대 연구진의 수어 번역용 AI 전자 반지 개발

주장연세대학교 연구진은 수어 번역 시스템의 실용성을 높이고 무게를 줄여 실제 환경에서 활용하는 방안을 모색합니다. 연구진은 기존 카메라 기반 방식이나 스마트 장갑이 가진 제약을 극복하는 것을 이번 연구의 핵심 목표로 삼습니다.

팩트연구진은 7개의 손가락에 착용하는 전자 반지를 개발하여 수어 동작을 무선으로 전송합니다. 각 반지는 가속도계를 내장하여 정적인 자세와 동적인 움직임을 모두 감지합니다.

팩트이 시스템은 미국 수어와 국제 수어의 공통 단어 100개씩을 각각 88.3%와 88.5%의 정확도로 인식합니다. 이는 기존 시스템이 50개 미만의 단어 인식에 머물렀던 것과 비교하면 기술적인 진보를 이룬 결과입니다.

팩트기존 스마트 장갑은 열과 습기를 가두어 장시간 착용이 불편하고 사용자의 손 크기나 관절 위치 차이를 반영하지 못합니다. 반면 전자 반지는 무선 연결로 손동작의 제약을 없애고 유연한 센서 배치를 가능하게 합니다.

팩트연구진은 기계적 신뢰성을 높이기 위해 구리 상호연결 부위에 뱀 모양의 패턴을 적용합니다. 이 설계는 반복적인 굽힘 동작에도 부품이 파손되지 않도록 돕습니다.

교차검증황도식 교수는 현재 시스템이 200개의 단어를 인식하는 성과를 냈으나, 수천 개의 단어로 구성된 전체 수어 어휘에 비하면 여전히 작은 부분이라고 지적합니다. 실제 환경에서의 개방형 대화에 적용하기에는 아직 한계가 존재합니다.

교차검증황 교수는 이 시스템이 손동작을 텍스트로 변환할 뿐 수어의 문법적 요소인 얼굴 표정, 입 모양, 신체 자세, 공간 구문 등을 포착하지 못한다는 점을 한계로 꼽습니다. 소형 디자인을 유지하면서 이러한 요소들을 통합하는 작업이 앞으로의 과제입니다.

주장연구진은 스마트폰과 같은 일상 기기에서 별도의 외부 장비 없이 수어를 실시간으로 번역하는 것을 장기적인 목표로 설정합니다. 이를 위해 처리 과정을 외부 하드웨어에서 모바일 기기 내 엣지 컴퓨팅으로 전환하는 작업을 우선합니다.

팩트연구진은 앞으로 더 많은 사람과 더 큰 어휘, 다양한 수어 스타일 및 지역 방언을 학습시킬 계획입니다. 특히 한국 수어를 다음 연구 단계로 고려하며 농인 커뮤니티 단체와 협력하여 장치를 발전시킵니다.

출처IEEE Spectrum의 'AI Rings on Fingers Can Interpret Sign Language' 보도를 통해 해당 연구 내용을 교차 검증했습니다.