본문 바로가기
반응형

Probability & Statistics7

Linear Regression Linear Regression을 확률론적 관점으로 풀어본다. (PRML) ## Supervised Learning Supervised Learning은 N개의 관측치 \( \{ x_1, \cdots , x_n \} \) 와 target value \( \{ t_1 , \cdots , t_N \} \) 와의 관계를 구하여서 새로운 x가 들어왔을 때 새로운 값 t를 예측하는 것이다. 이를 구하기 위해선 가잔 간단한 방법으로는 x와 t와의 관계를 함수 y(x) 로 나타내어 새로운 t를 예측하는 것이다. 그리고 또 다른 방법으로는 확률론적 관점을 통해 보며 예측 분포 \( p (t|x) \) 를 modeling 하는 것이다. 따라서 본 포스팅에선 이 두가지 방법을 이용하여 Linear Regression을 설.. 2022. 8. 5.
Nonparametric method 본 포스팅에선 Probability Distribution 중 Parametric method에 대해 다뤘다. 2022.08.02 - [Probability & Statistics] - Probability Distribution Probability Distribution 간단한 요약 버전은 2022.07.17 - [Probability & Statistics] - 확률분포 정리 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac.. bigdata-analyst.tistory.com Nonparametric method는 확률의 어떠한 특정한 형태가 있는 것이 아닌 데이터에 기반해서 분포를 구하.. 2022. 8. 3.
Probability Distribution 간단한 요약 버전은 2022.07.17 - [Probability & Statistics] - 확률분포 정리 확률분포 정리 ## Uniform Distribution 특정 구간 내의 값들이 나타날 가능성이 모두 균등한 확률 분포를 의미 \( E(X) \) \(\frac{1}{2}(a+b) \) \( Var(X) \) \( \frac{1}{12}(b-a)^{2} \) ## Bernoulli distribution 확률.. bigdata-analyst.tistory.com Probability Distribution은 왜 공부할까? 이는 바로 Density Estimation을 위한 것이다. 그러면 Density Estimation이란 무엇인가? Density Estimation이란 제한된 관찰값이 주어졌을.. 2022. 8. 2.
Information Theory Information Theory의 핵심은 Entropy 이다. ## Entropy Entropy는 불확실성을 측정하는 지표로 random variable에 대한 평균 정보량을 측정하는 것이다. $$ H(x) = - \Sigma_{x} p(x) \ln p(x) $$ 이를 자세히 설명하기 위한 예를 들어보겠다. ## Example Question ) x가 8개의 state가 존재하는데 이를 전송하기 위해 x는 몇개의 bit가 필요할까? 8개의 가능한 bit는 \( \{ a,b,c,d,e,f,g,h \} \) 라고 하자. 그리고 이에 대한 각각의 확률은 \( \{ \frac{1}{2}, \frac{1}{4},\frac{1}{8},\frac{1}{16},\frac{1}{64},\frac{1}{64},\frac.. 2022. 8. 1.
Decision Theory ## Decision Theory decision theory는 한마디로 정의하자면 어떻게 하면 올바른 선택을 할 수 있을까라는 것에 대한 이론이다. decision theory는 2가지 step으로 나뉜다. 1. inference step : training data x의 Posterior distribution \( p(C_k | x )를 구하는 것 2. 이를 기반으로 x가 주어지면 최적의 t를 구한다. 여기서 x는 현재 데이터 , t는 예측 데이터이다. 예를 들면 x를 현재 주식시장의 상황이라고 하고 t를 매수 또는 매도라고 하자. 만약에 과거의 최적의 매수 매도 타이밍을 안다고 가정하면 이를 기반으로 확률 분포 p(t|x) or p(x,t)를 구할 수 있다. 따라서 이러한 분포를 기반으로 새로운 .. 2022. 8. 1.
Probability Theory ## Probability Theory 패턴 인식 분야의 핵심 개념은 불확실성이다. 측정 노이즈뿐만 아니라 데이터 세트의 유한 크기를 통해 발생한다. 확률 이론은 불확실성의 정량화와 조작을 위한 일관된 프레임워크를 제공하며 패턴 인식을 위한 중심 기반 중 하나를 형성한다. 즉, 이를 다시 말하면 data는 내부에 불확실성을 가지고 있는데 이를 잘 모델링할 수 있는 것이 확률 모델이다. 이러한 확률 모델을 사용함으로써 데이터 내부에 있는 불확실성을 잘 파악할 수 있고 이를 통해 더 나은 학습 결과를 나타낼 수 있다. 여기서 말하는 data 내부의 불확실성은 다음의 예시로 들 수 있다. 위 파란색선을 데이터를 대표할 수 있는 함수라고 하고, 빨간색 점은 실제 데이터라고 하자. 여기서 파란색선과 빨간색 점이 .. 2022. 7. 31.
반응형

티스토리툴바