반응형 수화번역2 Neural Sign Language Translation based on Human Keypoint Estimation KETI에서 쓴 논문이다. 우리나라의 수화 영상 데이터셋을 구축하고, 이를 keypoint 기반으로 번역하는 알고리즘을 구축하였다. # Abstract - 본 논문은 Human Keypoint 추정 기반의 SLT(수화 번역) 알고리즘을 제안함 - KETI dataset 소개 (11578 개의 비디오) - 얼굴, 손, 몸에 대한 keypoint를 추출 - human keypoint vector는 keypoint의 평균과 표준편차로 normalization 수행 - sequence to sequence 모델을 베이스로 번역 진행 ( 모델 설명 : https://blog.naver.com/sooftware/221784419691) - training 하는 dataset이 작아도 robust한 결과를 얻는다. .. 2021. 9. 16. Better Sign Language Translation with STMC-Transformer 논문 링크 : https://arxiv.org/pdf/2004.00588v2.pdf 수화 번역(SLT)을 위한 알고리즘. 측정 지표 BELU(현재 SOTA) ## Abstract 수화 번역은 수화 인식 시스템을 사용하여 비디오에서 수화를 추출한다. 그리고 번역 시스템은 수화로부터 자연어를 생성한다. 본 논문은 수화 번역을 위한 시스템을 제안하고 이를 STMC-Transformer라고 정의한다. 본 논문은 이전 논문인 Sign2Gloss2Text 의 번역보다 더 뛰어나다고 한다. ## Introduction 본 논문의 contribution은 다음과 같다. 1. video -> text로 번역하는 STMC-Transformer는 번역 성능이 이전 모델보다 좋다 2. SLT(Sign-Language-Tran.. 2021. 8. 11. 이전 1 다음 반응형
