반응형 Attention is All you need1 Attention is all you need https://www.youtube.com/watch?v=AA621UofTUA&t=192s 나동빈님 강의를 기반으로 설명을 진행한다. Seq2Seq 는 하나의 context vector가 source sentence(input)의 모든 정보를 가지고 있어야하므로 bottleneck이 발생한다. 따라서 이로 인해 성능 저하가 일어난다. 따라서 이를 해결하기 위해 source sentence에서의 output 값 전부를 input으로 받는다. 따라서 고정된 크기의 context vector로 압축하는 것이 아니라 이를 입력값으로 다시 처리해주면서 출력단어를 만들면 더욱 성능이 좋아진다는 것이다. Seq2Seq 포스팅 2021.11.01 - [논문 정리] - Sequence to Sequence Learnin.. 2022. 7. 12. 이전 1 다음 반응형
