반응형 cs231n3 cs231n - Backpropogation and NN part1 ## Backpropogation Backpropogation = 역전파를 이해하기 위해 간단한 그림으로 설명을 시작한다. 역전파를 보기 전에 먼저 순전파(feedforward)부터 보자. 위 그래프는 \( f(x,y,z) = (x+y)z \)를 그림으로 나타낸 것이다. 그리고 x = -2, y=5, z=4를 임의로 대입한다. 위 그래프처럼 +를 먼저 계산하고 그 다음에 z 값을 곱하는 순서대로 해서 최종 답 -12를 도출한다. 여기서 + 과정을 매개변수 q 라고 하자. 그러면 식은 \( q = x+y, f=qz \)가 된다. 이러한 식이 도출됐을 때 간단하게 미분을 해주면 다음과 같이 된다. $$ \frac{\partial q}{\partial x} = 1, \frac{\partial q}{\parti.. 2021. 8. 30. cs231n - Loss function & Optimization - Loss Function : score의 불만족한 부분을 정량화 - Opimization : Loss function을 최소화하는 파라미터를 찾는 과정 Loss function을 설명하기 위해 \( f(x,W) = Wx \)를 통해서 다음 그림과 같은 score를 구하였다. 위 그림과 같이 점수가 나오고 이러한 상태에서 두가지의 loss function에 대해 알아본다. 1. SVM - Hinge Loss 2. Softmax - Cross Entropy Loss ## Multiclass SVM Loss 예를 들어 \( (x_{i}, y{i}) \)가 있고, \( x_{i} \)는 이미지, \( y_{i} \)는 label이라고 하자. 이 때, SVM loss는 다음의 식과 같다. $$ L_{i} = .. 2021. 8. 27. cs231n - Image Classification Image Classification은 Computer Vision에서 가장 핵심이 되는 작업이다. Image Classification이란, 사진이 있을 때 정해진 Label을 보고 어떤 사진인지 판단을 하는 것을 말한다. Image Classification이 가능하면 Object Detection, Image Segmentation, Image Captioning이 가능하도록 한다. Image는 3차원 행렬로 0~255 사이의 정수로 이뤄져있다. RGB 값을 받기 때문에 3차원으로 이뤄진다. shape은 H x W x C로 구성된다. Image Classification의 문제는 여러가지가 있다. 1. Viewpoint variation : 이미지를 보는 시각에 따라서 이미지는 다르게 보일 수 있기.. 2021. 8. 22. 이전 1 다음 반응형
