티스토리

Bigdata Analyst
검색하기

블로그 홈

Bigdata Analyst

bigdata-analyst.tistory.com/m

https://github.com/winston1214

구독자
39
방명록 방문하기
공지 자료구조 출처 모두보기
반응형

주요 글 목록

  • 저널 jcr IF 확인 https://jcr.clarivate.com/jcr/home 공감수 0 댓글수 0 2024. 2. 12.
  • Adding Conditional Control to Text-to-Image Diffusion Models (ControlNet) https://arxiv.org/abs/2302.05543 Adding Conditional Control to Text-to-Image Diffusion Models We present ControlNet, a neural network architecture to add spatial conditioning controls to large, pretrained text-to-image diffusion models. ControlNet locks the production-ready large diffusion models, and reuses their deep and robust encoding layers pr arxiv.org # Introduction Text-to-Image diffusio.. 공감수 1 댓글수 0 2023. 11. 2.
  • Benchmarking Robustness of Adaptation Methods onPre-trained Vision-Language Models (NeurIPS 2023) https://arxiv.org/abs/2306.02080 Benchmarking Robustness of Adaptation Methods on Pre-trained Vision-Language Models Various adaptation methods, such as LoRA, prompts, and adapters, have been proposed to enhance the performance of pre-trained vision-language models in specific domains. The robustness of these adaptation methods against distribution shifts have not been s arxiv.org Abstract : 본 논.. 공감수 0 댓글수 0 2023. 10. 10.
  • DiffusionEngine: Diffusion Model is Scalable Data Engine for Object Detection https://arxiv.org/abs/2309.03893 DiffusionEngine: Diffusion Model is Scalable Data Engine for Object Detection Data is the cornerstone of deep learning. This paper reveals that the recently developed Diffusion Model is a scalable data engine for object detection. Existing methods for scaling up detection-oriented data often require manual collection or generative m arxiv.org Abstract : object de.. 공감수 1 댓글수 0 2023. 10. 9.
  • License Free 그림 (직접 제작) 공감수 0 댓글수 0 2023. 8. 13.
  • 카이스트, 연세대 AI 대학원 합격 후기 지방대, 학점 3점대, 비전공자 라는 3가지 벽을 뚫고 카이스트, 연세대 AI 대학원에 합격하였습니다. 대학교 재수도 안했는데, 대학원 재수를 하면서 감사하게도 좋은 결과가 따랐습니다. 정말 길고도 항상 불안한 시간이었지만 좋은 결과로 보답받았고, 3가지의 벽을 넘었다는 것이 너무 스스로 뿌듯하였습니다. 저와 같은 벽을 넘어야 되는 사람들이 많다고 생각하고, 이를 극복하기 위해 어떻게 해야되는지에 대한 "개인적으로 느낀" 것들을 적어보겠습니다.### 스펙- 학교 : 인천대학교 - 학부 : 경제 (주), 컴공 (복) - 학점 : 3.91 - 논문 : 총 8편 publish. 주저자 5편, 공동저자 3편, 탑티어 제출 (직전) 경험. - 주저자 : SCI 1 편 (IF : about 4), 세컨티어 해외 c.. 공감수 20 댓글수 45 2023. 6. 19.
  • Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021) https://arxiv.org/abs/2105.05233 Diffusion Models Beat GANs on Image Synthesis We show that diffusion models can achieve image sample quality superior to the current state-of-the-art generative models. We achieve this on unconditional image synthesis by finding a better architecture through a series of ablations. For conditional imag arxiv.org 참고 영상 : https://www.youtube.com/watch?v=gN1FQhQsUTE .. 공감수 2 댓글수 1 2023. 5. 17.
  • Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer https://arxiv.org/pdf/2303.08622.pdf Contribution - Zero-shot style transfer model 제안함 - 이를 위한 zero-shot contrastive loss 를 제안함 Overview of Proposed Method DDIM 으로 Forward 하고, Reverse 과정에서 DDPM을 사용. 그리고 Reverse 중간중간에 CLIP loss와 ZeCon loss를 추가해주면서 Style과 Content 에 대한 학습을 이룸. main contribution 중 하나는 추가적은 training 없이, guide 가 가능하다는 것이다. 이 때, CLIP으로 Style 을 guide 하고, ZeCon으로 content를 guide 함 Style G.. 공감수 1 댓글수 0 2023. 4. 26.
  • The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization https://arxiv.org/pdf/2006.16241.pdf Abstract 4개의 real-world distribution을 가진 dataset을 공개 : change image style , image blurriness, geographic location, camera operation, etc. 이러한 새로운 데이터셋으로 robustness를 위한 견고성을 개선하기 위한 방법을 테스트. 그 결과 larger model을 사용할수록 artificial data augmentations이 real-world distribution에서 robustness 하다는 것을 발견하였다. 데이터 증강이 효과가 있다는 것에 아이디어를 얻어 1000 배 더 많은 데이터로 pretrained 된 모델을 능가.. 공감수 0 댓글수 0 2023. 3. 21.
  • Improving Object Detection with Selective Self-Supervised Self-Training https://arxiv.org/pdf/2007.09162.pdf The paper proposes a novel learning method called selective self-supervised self-training to improve object detection by leveraging diverse Web images and rectifying the supervision signals in Web images using a selective net, achieving state-of-the-art results on detecting different object classes. Key insights: Image-to-image search is an effective method f.. 공감수 0 댓글수 0 2023. 3. 17.
  • Towards Adversarially Robust Object Detection https://arxiv.org/pdf/1907.10310.pdf Arixv GPT The paper "Towards Adversarially Robust Object Detection" proposes an adversarial training approach to improve the robustness of object detection models against adversarial attacks, and verifies its effectiveness through extensive experiments on PASCAL-VOC and MS-COCO datasets. Key insights and lessons learned: Object detection models are vulnerable.. 공감수 0 댓글수 0 2023. 3. 16.
  • Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming https://arxiv.org/pdf/1907.07484.pdf Arixv GPT Summary The paper "Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming" presents a benchmark to evaluate object detection models' performance under various image corruptions and weather conditions, crucial for real-orld applications like autonomous driving. The authors provide three benchmark datasets with a large v.. 공감수 0 댓글수 0 2023. 3. 16.
  • Model Summary (NLP) NLP version : 2023.03.14 - [논문 정리] - PFMs for Natural Language Processing Transformer - self-attention 방법을 제안한 최초의 논문 - Encoder에선 sequence 를 vector로 encoding, Decoder에선 이를 auto-regressive 하게 각 단어에 대한 확률로 반환 - auto-regressive 한 Decoder로 인해 이전 또는 이후 정보만 사용하고, 이전-이후 정보를 동시에 사용할 수 없기 때문에 문맥에 대한 이해가 부족하다는 단점이 존재 GPT & GPT-2 - Transformer Decoder를 12개 쌓음 (GPT-2 는 decoder를 48개로 쌓음) - auto-regressive 방식.. 공감수 0 댓글수 0 2023. 3. 15.
  • PFMs for Natural Language Processing 본 글은 A comprehensive Survey on Pretrained Foundation Models : A History from BERT to ChatGPT 논문을 참고하여 작성한 글입니다. PFM ( Pretrained Foundation Model) 은 pretraining 기술에 기반을 두고 있는 모델로 많은 양의 데이터와 task를 학습하여 쉽게 fine-tuning 하여 일반적인 모델로 훈련할 수 있는 것에 목적을 둔 모델이다. 최근 각광받고 있는 ChatGPT도 이에 대한 일종이다. 따라서 이러한 모델들이 AI 분야의 전반적으로 널리 쓰이고 있으며 본 장에서는 NLP에서의 PFM을 알아보도록 한다. NLP task에서 현재 주로 연구되는 분야는 다음과 같다. (기타 포함) 1. Nam.. 공감수 0 댓글수 0 2023. 3. 14.
  • 인공지능 대학원 입시 후기 이번 2023년 전기 인공지능 대학원 지원을 하면서 느낀점과 인공지능 대학원을 준비하는 사람들이 참고하면 좋을 것 같아서 적습니다. 저에 대한 정보는 다음과 같습니다. ## 스펙 - 학교 : 수도권 국립대 - 학점 : 3.91 - 학과 : 경제학(주), 컴퓨터공학(복) - 논문 : (1저자) Q1 저널 (당시 under reivew 상태), 세컨티어 학회 워크샵(연대에만 적음), KCI, KCC 2021(최우수 논문상), 정보처리학회 special session (공저자) KCC2021 3편 - 수상내역 : KCC 2021 국내 학회 최우수 논문상 (0원) AI-Hub 아이디어 챌린지 최우수상 (원장상, 1000만원) 기업 공모전 우수상 (100만원) - 특허 : 3건 - 프로젝트 : 국가 및 기업 과제.. 공감수 4 댓글수 1 2022. 11. 28.
  • 논문 작성 꿀팁 접속사 선택 https://blog.essayreview.co.kr/%EB%8F%99%EC%98%81%EC%83%81-%EB%85%BC%EB%AC%B8-%EC%9E%91%EC%84%B1-%EC%8B%9C-%EC%9C%A0%EC%9A%A9%ED%95%9C-%EC%A0%91%EC%86%8D%EC%82%ACtransition-words-%EB%AA%A8%EC%9D%8C/ [동영상] 논문 작성 시 유용한 접속사(transition words) 모음 - 에세이리뷰 블로그 논문 작성시 문장 간 흐름을 자연스럽게 해줄 뿐만 아니라 논점을 명확하게 만들어주는 접속사에 대해 알아보겠습니다. 상황에 맞는 접속사 목록을 포함하였으니 논문 작성시 참고하세요! blog.essayreview.co.kr Reference 중에 가.. 공감수 1 댓글수 1 2022. 11. 16.
  • [Task 파악] Phrase Grounding & Weakly Supervised learning [Phrase Grounding] Phrase Grounding을 구글 번역에 치면 "구문 접지" 이런 식으로 나오는데, 무슨 말인지 모르겠다. 따라서 paperwithcodes 의 설명을 이용하여 정리하면 Given an image and a corresponding caption, the Phrase Grounding task aims to ground each entity mentioned by a noun phrase in the caption to a region in the image. 라고 표현되어 있다.한국말로 해석하면, image와 그에 해당하는 caption (이미지를 설명하는 text)가 두개 다 주어진다면, Pharse Grounding 분야는 caption에 있는 명사구에 해당하는.. 공감수 0 댓글수 0 2022. 11. 10.
  • Denoising Diffusion Probabilistic Models(DDPM) https://arxiv.org/abs/2006.11239 Denoising Diffusion Probabilistic Models We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound arxiv.org 요즘 핫한 Diffusion model에 대해 알아보도록 하자. 본 포스팅은 https://www.yo.. 공감수 0 댓글수 1 2022. 11. 8.
  • Zero-shot Learning 본 설명은 https://www.youtube.com/watch?v=7uAszeiLE2w 자료를 참고하여 정리하였습니다. # Introduction Deep Learning은 여러 분야에서 좋은 성능을 내는 바탕에는 막대한 데이터의 양이 있다. 실제로 데이터의 수에 비례하여 딥러닝이 가장 큰 Performance를 낸다. 그러나 현실에서는 정답 label이 함께 존재하지 않는 데이터가 훨씬 많고, label을 지정하는데 시간과 비용에 따른 제약이 많다. 따라서 label이 존재하지 않는 데이터에서 해당 카테고리의 데이터를 올바르게 예측하는 것은 매우 중요하다. 그래서 이를 풀기 위해선 zero-shot learning을 사용한다. # Zero-shot Learning zero shot learning이란.. 공감수 3 댓글수 2 2022. 9. 5.
  • Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production (CVPR2022) https://openaccess.thecvf.com/content/CVPR2022/html/Saunders_Signing_at_Scale_Learning_to_Co-Articulate_Signs_for_Large-Scale_Photo-Realistic_CVPR_2022_paper.html CVPR 2022 Open Access Repository Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production Ben Saunders, Necati Cihan Camgoz, Richard Bowden; Proceedings of the IEEE/CVF Conference on Co.. 공감수 2 댓글수 0 2022. 8. 23.
  • Linear Regression Linear Regression을 확률론적 관점으로 풀어본다. (PRML) ## Supervised Learning Supervised Learning은 N개의 관측치 \( \{ x_1, \cdots , x_n \} \) 와 target value \( \{ t_1 , \cdots , t_N \} \) 와의 관계를 구하여서 새로운 x가 들어왔을 때 새로운 값 t를 예측하는 것이다. 이를 구하기 위해선 가잔 간단한 방법으로는 x와 t와의 관계를 함수 y(x) 로 나타내어 새로운 t를 예측하는 것이다. 그리고 또 다른 방법으로는 확률론적 관점을 통해 보며 예측 분포 \( p (t|x) \) 를 modeling 하는 것이다. 따라서 본 포스팅에선 이 두가지 방법을 이용하여 Linear Regression을 설.. 공감수 0 댓글수 0 2022. 8. 5.
  • Nonparametric method 본 포스팅에선 Probability Distribution 중 Parametric method에 대해 다뤘다. 2022.08.02 - [Probability & Statistics] - Probability Distribution Probability Distribution 간단한 요약 버전은 2022.07.17 - [Probability & Statistics] - 확률분포 정리 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac.. bigdata-analyst.tistory.com Nonparametric method는 확률의 어떠한 특정한 형태가 있는 것이 아닌 데이터에 기반해서 분포를 구하.. 공감수 0 댓글수 0 2022. 8. 3.
  • Probability Distribution 간단한 요약 버전은 2022.07.17 - [Probability & Statistics] - 확률분포 정리 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac{1}{2}(a+b) \) \( Var(X) \) \( \frac{1}{12}(b-a)^{2} \) ## Bernoulli distribution 확률.. bigdata-analyst.tistory.com Probability Distribution은 왜 공부할까? 이는 바로 Density Estimation을 위한 것이다. 그러면 Density Estimation이란 무엇인가? Density Estimation이란 제한된 관찰값이 주어졌을.. 공감수 0 댓글수 0 2022. 8. 2.
  • Information Theory Information Theory의 핵심은 Entropy 이다. ## Entropy Entropy는 불확실성을 측정하는 지표로 random variable에 대한 평균 정보량을 측정하는 것이다. $$ H(x) = - \Sigma_{x} p(x) \ln p(x) $$ 이를 자세히 설명하기 위한 예를 들어보겠다. ## Example Question ) x가 8개의 state가 존재하는데 이를 전송하기 위해 x는 몇개의 bit가 필요할까? 8개의 가능한 bit는 \( \{ a,b,c,d,e,f,g,h \} \) 라고 하자. 그리고 이에 대한 각각의 확률은 \( \{ \frac{1}{2}, \frac{1}{4},\frac{1}{8},\frac{1}{16},\frac{1}{64},\frac{1}{64},\frac.. 공감수 0 댓글수 0 2022. 8. 1.
  • Decision Theory ## Decision Theory decision theory는 한마디로 정의하자면 어떻게 하면 올바른 선택을 할 수 있을까라는 것에 대한 이론이다. decision theory는 2가지 step으로 나뉜다. 1. inference step : training data x의 Posterior distribution \( p(C_k | x )를 구하는 것 2. 이를 기반으로 x가 주어지면 최적의 t를 구한다. 여기서 x는 현재 데이터 , t는 예측 데이터이다. 예를 들면 x를 현재 주식시장의 상황이라고 하고 t를 매수 또는 매도라고 하자. 만약에 과거의 최적의 매수 매도 타이밍을 안다고 가정하면 이를 기반으로 확률 분포 p(t|x) or p(x,t)를 구할 수 있다. 따라서 이러한 분포를 기반으로 새로운 .. 공감수 0 댓글수 0 2022. 8. 1.
  • Probability Theory ## Probability Theory 패턴 인식 분야의 핵심 개념은 불확실성이다. 측정 노이즈뿐만 아니라 데이터 세트의 유한 크기를 통해 발생한다. 확률 이론은 불확실성의 정량화와 조작을 위한 일관된 프레임워크를 제공하며 패턴 인식을 위한 중심 기반 중 하나를 형성한다. 즉, 이를 다시 말하면 data는 내부에 불확실성을 가지고 있는데 이를 잘 모델링할 수 있는 것이 확률 모델이다. 이러한 확률 모델을 사용함으로써 데이터 내부에 있는 불확실성을 잘 파악할 수 있고 이를 통해 더 나은 학습 결과를 나타낼 수 있다. 여기서 말하는 data 내부의 불확실성은 다음의 예시로 들 수 있다. 위 파란색선을 데이터를 대표할 수 있는 함수라고 하고, 빨간색 점은 실제 데이터라고 하자. 여기서 파란색선과 빨간색 점이 .. 공감수 0 댓글수 0 2022. 7. 31.
  • Taming Transformers for High Resolution Image Synthesis (VQGAN) https://arxiv.org/abs/2012.09841 Taming Transformers for High-Resolution Image Synthesis Designed to learn long-range interactions on sequential data, transformers continue to show state-of-the-art results on a wide variety of tasks. In contrast to CNNs, they contain no inductive bias that prioritizes local interactions. This makes them expres arxiv.org ## Background 본 논문에 들어가기 앞서 Background 지식을.. 공감수 2 댓글수 0 2022. 7. 28.
  • 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac{1}{2}(a+b) \) \( Var(X) \) \( \frac{1}{12}(b-a)^{2} \) ## Bernoulli distribution 확률 변수가 성공과 실패 두 결과 중 오직 하나로 나타나는 베르누이 시행의 결과에 대한 확률분포 성공과 실패의 2가지 경우만 존재 \( E(X) \) \( p \) \( Var(X) \) \( p(1-p) = pq \) ## Binomial distribution Bernoulli 시행을 독립적으로 n번 반복했을 때 나타나는 결과에서 성공의 횟수에 관한 확률분포 \( E(X) \) \( np \) \( Var(X) \.. 공감수 0 댓글수 0 2022. 7. 17.
  • Attention is all you need https://www.youtube.com/watch?v=AA621UofTUA&t=192s 나동빈님 강의를 기반으로 설명을 진행한다. Seq2Seq 는 하나의 context vector가 source sentence(input)의 모든 정보를 가지고 있어야하므로 bottleneck이 발생한다. 따라서 이로 인해 성능 저하가 일어난다. 따라서 이를 해결하기 위해 source sentence에서의 output 값 전부를 input으로 받는다. 따라서 고정된 크기의 context vector로 압축하는 것이 아니라 이를 입력값으로 다시 처리해주면서 출력단어를 만들면 더욱 성능이 좋아진다는 것이다. Seq2Seq 포스팅 2021.11.01 - [논문 정리] - Sequence to Sequence Learnin.. 공감수 0 댓글수 0 2022. 7. 12.
  • Image Generation 정리 (2) 2022.06.19 - [논문 정리] - Image Generation 정리(1) Image Generation 정리(1) ## GAN [NIPS 2015] https://bigdata-analyst.tistory.com/264?category=883085 Generative Adversarial Nets(GAN) 원 논문 arxiv.org/pdf/1406.2661.pdf 참고 자료 www.youtube.com/watch?v=AVvlDmhHgC4 나동빈님.. bigdata-analyst.tistory.com ## Least Squares Generative Adversarial Networks [ICCV 2017] GAN의 loss function은 discriminator에서 sigmoid cross-.. 공감수 0 댓글수 0 2022. 6. 23.
    반응형
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.