반응형 전체 글359 Decision Theory ## Decision Theory decision theory는 한마디로 정의하자면 어떻게 하면 올바른 선택을 할 수 있을까라는 것에 대한 이론이다. decision theory는 2가지 step으로 나뉜다. 1. inference step : training data x의 Posterior distribution \( p(C_k | x )를 구하는 것 2. 이를 기반으로 x가 주어지면 최적의 t를 구한다. 여기서 x는 현재 데이터 , t는 예측 데이터이다. 예를 들면 x를 현재 주식시장의 상황이라고 하고 t를 매수 또는 매도라고 하자. 만약에 과거의 최적의 매수 매도 타이밍을 안다고 가정하면 이를 기반으로 확률 분포 p(t|x) or p(x,t)를 구할 수 있다. 따라서 이러한 분포를 기반으로 새로운 .. 2022. 8. 1. Probability Theory ## Probability Theory 패턴 인식 분야의 핵심 개념은 불확실성이다. 측정 노이즈뿐만 아니라 데이터 세트의 유한 크기를 통해 발생한다. 확률 이론은 불확실성의 정량화와 조작을 위한 일관된 프레임워크를 제공하며 패턴 인식을 위한 중심 기반 중 하나를 형성한다. 즉, 이를 다시 말하면 data는 내부에 불확실성을 가지고 있는데 이를 잘 모델링할 수 있는 것이 확률 모델이다. 이러한 확률 모델을 사용함으로써 데이터 내부에 있는 불확실성을 잘 파악할 수 있고 이를 통해 더 나은 학습 결과를 나타낼 수 있다. 여기서 말하는 data 내부의 불확실성은 다음의 예시로 들 수 있다. 위 파란색선을 데이터를 대표할 수 있는 함수라고 하고, 빨간색 점은 실제 데이터라고 하자. 여기서 파란색선과 빨간색 점이 .. 2022. 7. 31. Taming Transformers for High Resolution Image Synthesis (VQGAN) https://arxiv.org/abs/2012.09841 Taming Transformers for High-Resolution Image Synthesis Designed to learn long-range interactions on sequential data, transformers continue to show state-of-the-art results on a wide variety of tasks. In contrast to CNNs, they contain no inductive bias that prioritizes local interactions. This makes them expres arxiv.org ## Background 본 논문에 들어가기 앞서 Background 지식을.. 2022. 7. 28. 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac{1}{2}(a+b) \) \( Var(X) \) \( \frac{1}{12}(b-a)^{2} \) ## Bernoulli distribution 확률 변수가 성공과 실패 두 결과 중 오직 하나로 나타나는 베르누이 시행의 결과에 대한 확률분포 성공과 실패의 2가지 경우만 존재 \( E(X) \) \( p \) \( Var(X) \) \( p(1-p) = pq \) ## Binomial distribution Bernoulli 시행을 독립적으로 n번 반복했을 때 나타나는 결과에서 성공의 횟수에 관한 확률분포 \( E(X) \) \( np \) \( Var(X) \.. 2022. 7. 17. Attention is all you need https://www.youtube.com/watch?v=AA621UofTUA&t=192s 나동빈님 강의를 기반으로 설명을 진행한다. Seq2Seq 는 하나의 context vector가 source sentence(input)의 모든 정보를 가지고 있어야하므로 bottleneck이 발생한다. 따라서 이로 인해 성능 저하가 일어난다. 따라서 이를 해결하기 위해 source sentence에서의 output 값 전부를 input으로 받는다. 따라서 고정된 크기의 context vector로 압축하는 것이 아니라 이를 입력값으로 다시 처리해주면서 출력단어를 만들면 더욱 성능이 좋아진다는 것이다. Seq2Seq 포스팅 2021.11.01 - [논문 정리] - Sequence to Sequence Learnin.. 2022. 7. 12. Image Generation 정리 (2) 2022.06.19 - [논문 정리] - Image Generation 정리(1) Image Generation 정리(1) ## GAN [NIPS 2015] https://bigdata-analyst.tistory.com/264?category=883085 Generative Adversarial Nets(GAN) 원 논문 arxiv.org/pdf/1406.2661.pdf 참고 자료 www.youtube.com/watch?v=AVvlDmhHgC4 나동빈님.. bigdata-analyst.tistory.com ## Least Squares Generative Adversarial Networks [ICCV 2017] GAN의 loss function은 discriminator에서 sigmoid cross-.. 2022. 6. 23. 이전 1 2 3 4 5 6 7 8 ··· 60 다음 반응형
