반응형 GPT1 PFMs for Natural Language Processing 본 글은 A comprehensive Survey on Pretrained Foundation Models : A History from BERT to ChatGPT 논문을 참고하여 작성한 글입니다. PFM ( Pretrained Foundation Model) 은 pretraining 기술에 기반을 두고 있는 모델로 많은 양의 데이터와 task를 학습하여 쉽게 fine-tuning 하여 일반적인 모델로 훈련할 수 있는 것에 목적을 둔 모델이다. 최근 각광받고 있는 ChatGPT도 이에 대한 일종이다. 따라서 이러한 모델들이 AI 분야의 전반적으로 널리 쓰이고 있으며 본 장에서는 NLP에서의 PFM을 알아보도록 한다. NLP task에서 현재 주로 연구되는 분야는 다음과 같다. (기타 포함) 1. Nam.. 2023. 3. 14. 이전 1 다음 반응형
