반응형 nlp2 PFMs for Natural Language Processing 본 글은 A comprehensive Survey on Pretrained Foundation Models : A History from BERT to ChatGPT 논문을 참고하여 작성한 글입니다. PFM ( Pretrained Foundation Model) 은 pretraining 기술에 기반을 두고 있는 모델로 많은 양의 데이터와 task를 학습하여 쉽게 fine-tuning 하여 일반적인 모델로 훈련할 수 있는 것에 목적을 둔 모델이다. 최근 각광받고 있는 ChatGPT도 이에 대한 일종이다. 따라서 이러한 모델들이 AI 분야의 전반적으로 널리 쓰이고 있으며 본 장에서는 NLP에서의 PFM을 알아보도록 한다. NLP task에서 현재 주로 연구되는 분야는 다음과 같다. (기타 포함) 1. Nam.. 2023. 3. 14. Sequence to Sequence Learning with Neural Networks(Seq2Seq) https://www.youtube.com/watch?v=4DzKM0vgG1Y 나동빈님 유튜브를 바탕으로 리뷰하였습니다. Seq2Seq는 현재 Transformer에 밀려 잘 사용되진 않지만 NLP의 기초를 공부하기 위해서 이 논문을 리뷰한다. ## seq2seq seq2seq 모델은 LSTM을 활용한 효율적인 seq2seq 기계번역 아키텍쳐이다. 기존(seq2seq가 나오기 전)엔 딥러닝을 활용한 기계번역보다 통계적인 방법을 활용한 번역을 더 많이 사용하였다. 그러나 seq2seq 가 나옴으로써 딥러닝을 활용한 기계번역 연구에 불을 지폈다. seq2seq의 간단한 동작 과정은 다음과 같다. encoder와 decoder로 구성이 되어있고 context vector \(v\)를 활용한다. seq2seq는.. 2021. 11. 1. 이전 1 다음 반응형
