반응형 전체 글359 Model Summary (NLP) NLP version : 2023.03.14 - [논문 정리] - PFMs for Natural Language Processing Transformer - self-attention 방법을 제안한 최초의 논문 - Encoder에선 sequence 를 vector로 encoding, Decoder에선 이를 auto-regressive 하게 각 단어에 대한 확률로 반환 - auto-regressive 한 Decoder로 인해 이전 또는 이후 정보만 사용하고, 이전-이후 정보를 동시에 사용할 수 없기 때문에 문맥에 대한 이해가 부족하다는 단점이 존재 GPT & GPT-2 - Transformer Decoder를 12개 쌓음 (GPT-2 는 decoder를 48개로 쌓음) - auto-regressive 방식.. 2023. 3. 15. PFMs for Natural Language Processing 본 글은 A comprehensive Survey on Pretrained Foundation Models : A History from BERT to ChatGPT 논문을 참고하여 작성한 글입니다. PFM ( Pretrained Foundation Model) 은 pretraining 기술에 기반을 두고 있는 모델로 많은 양의 데이터와 task를 학습하여 쉽게 fine-tuning 하여 일반적인 모델로 훈련할 수 있는 것에 목적을 둔 모델이다. 최근 각광받고 있는 ChatGPT도 이에 대한 일종이다. 따라서 이러한 모델들이 AI 분야의 전반적으로 널리 쓰이고 있으며 본 장에서는 NLP에서의 PFM을 알아보도록 한다. NLP task에서 현재 주로 연구되는 분야는 다음과 같다. (기타 포함) 1. Nam.. 2023. 3. 14. 인공지능 대학원 입시 후기 이번 2023년 전기 인공지능 대학원 지원을 하면서 느낀점과 인공지능 대학원을 준비하는 사람들이 참고하면 좋을 것 같아서 적습니다. 저에 대한 정보는 다음과 같습니다. ## 스펙 - 학교 : 수도권 국립대 - 학점 : 3.91 - 학과 : 경제학(주), 컴퓨터공학(복) - 논문 : (1저자) Q1 저널 (당시 under reivew 상태), 세컨티어 학회 워크샵(연대에만 적음), KCI, KCC 2021(최우수 논문상), 정보처리학회 special session (공저자) KCC2021 3편 - 수상내역 : KCC 2021 국내 학회 최우수 논문상 (0원) AI-Hub 아이디어 챌린지 최우수상 (원장상, 1000만원) 기업 공모전 우수상 (100만원) - 특허 : 3건 - 프로젝트 : 국가 및 기업 과제.. 2022. 11. 28. 논문 작성 꿀팁 접속사 선택 https://blog.essayreview.co.kr/%EB%8F%99%EC%98%81%EC%83%81-%EB%85%BC%EB%AC%B8-%EC%9E%91%EC%84%B1-%EC%8B%9C-%EC%9C%A0%EC%9A%A9%ED%95%9C-%EC%A0%91%EC%86%8D%EC%82%ACtransition-words-%EB%AA%A8%EC%9D%8C/ [동영상] 논문 작성 시 유용한 접속사(transition words) 모음 - 에세이리뷰 블로그 논문 작성시 문장 간 흐름을 자연스럽게 해줄 뿐만 아니라 논점을 명확하게 만들어주는 접속사에 대해 알아보겠습니다. 상황에 맞는 접속사 목록을 포함하였으니 논문 작성시 참고하세요! blog.essayreview.co.kr Reference 중에 가.. 2022. 11. 16. [Task 파악] Phrase Grounding & Weakly Supervised learning [Phrase Grounding] Phrase Grounding을 구글 번역에 치면 "구문 접지" 이런 식으로 나오는데, 무슨 말인지 모르겠다. 따라서 paperwithcodes 의 설명을 이용하여 정리하면 Given an image and a corresponding caption, the Phrase Grounding task aims to ground each entity mentioned by a noun phrase in the caption to a region in the image. 라고 표현되어 있다.한국말로 해석하면, image와 그에 해당하는 caption (이미지를 설명하는 text)가 두개 다 주어진다면, Pharse Grounding 분야는 caption에 있는 명사구에 해당하는.. 2022. 11. 10. Denoising Diffusion Probabilistic Models(DDPM) https://arxiv.org/abs/2006.11239 Denoising Diffusion Probabilistic Models We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound arxiv.org 요즘 핫한 Diffusion model에 대해 알아보도록 하자. 본 포스팅은 https://www.yo.. 2022. 11. 8. 이전 1 2 3 4 5 6 ··· 60 다음 반응형
