반응형 Transformer2 Attention is all you need https://www.youtube.com/watch?v=AA621UofTUA&t=192s 나동빈님 강의를 기반으로 설명을 진행한다. Seq2Seq 는 하나의 context vector가 source sentence(input)의 모든 정보를 가지고 있어야하므로 bottleneck이 발생한다. 따라서 이로 인해 성능 저하가 일어난다. 따라서 이를 해결하기 위해 source sentence에서의 output 값 전부를 input으로 받는다. 따라서 고정된 크기의 context vector로 압축하는 것이 아니라 이를 입력값으로 다시 처리해주면서 출력단어를 만들면 더욱 성능이 좋아진다는 것이다. Seq2Seq 포스팅 2021.11.01 - [논문 정리] - Sequence to Sequence Learnin.. 2022. 7. 12. TransGAN : Two Transformers Can Make One Strong GAN 원 논문 : https://arxiv.org/pdf/2102.07074.pdf 퀄리티 높은 포스팅을 위해 논문을 1차적으로 읽고 여러 리뷰를 통해 완벽히 이해하고 논문 리뷰를 진행하였는데.. 이번 논문은 전혀 리뷰가 없어서(있어도 외국..있으나 마나이다..) 내가 쌩으로 읽고 쌩으로 이해한 것을 바탕으로 포스팅한다. 따라서..틀린 점이 있을 수도 있다...! 하지만 난 이걸 갖고 발표도 해야하므로..최대한 완벽하게 읽고 이해하고 포스팅을 진행한다.(주관적 기준..) 요즘 Comuputer Vision 분야에서 CNN이 살아남을 수 있을까라는게 큰 이슈이다. 최근에는 Transformer 기반의 Networks 구조가 각광을 받고 있고 심지어 더 최근에는 MLP가 더 발전을 해서 Computer Visio.. 2021. 5. 15. 이전 1 다음 반응형
