반응형 backpropogation3 cs231n - Backpropogation and NN part1 ## Backpropogation Backpropogation = 역전파를 이해하기 위해 간단한 그림으로 설명을 시작한다. 역전파를 보기 전에 먼저 순전파(feedforward)부터 보자. 위 그래프는 \( f(x,y,z) = (x+y)z \)를 그림으로 나타낸 것이다. 그리고 x = -2, y=5, z=4를 임의로 대입한다. 위 그래프처럼 +를 먼저 계산하고 그 다음에 z 값을 곱하는 순서대로 해서 최종 답 -12를 도출한다. 여기서 + 과정을 매개변수 q 라고 하자. 그러면 식은 \( q = x+y, f=qz \)가 된다. 이러한 식이 도출됐을 때 간단하게 미분을 해주면 다음과 같이 된다. $$ \frac{\partial q}{\partial x} = 1, \frac{\partial q}{\parti.. 2021. 8. 30. MultiLayer Perceptron 이 글은 https://www.youtube.com/watch?v=oOQCrm4Vemo&list=PLSAJwo7mw8jn8iaXwT4MqLbZnS-LJwnBd&index=7&t=652s 영상을 기반으로 작성하였습니다. ## Solving XOR problem with MLP 위 그림에서 MLP의 input layer는 input 값이 들어가게 된다. 그리고 hidden layer에서 하나의 동그라미는 hidden unit이라고 한다. 그리고 MLP에서 화살표의 의미는 가중치를 곱해주는 것이다. 또한 가중치를 곱한 후에 activation function을 통과한다. ## XOR x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0 이러한 XOR 문제를 해결하기 위해 다음과 같이 MLP를 구성한다. 위.. 2021. 7. 26. Chapter5 - Backpropogation ## 계산 그래프 오차역전파법을 이해하기 위해 간단한 그림을 통해 이해해보겠다. 계산하는 과정을 그림으로 나타낸 것을 계산 그래프라고 칭한다. 계산 그래프는 node와 edge로 구성된다. 하나의 예시를 들어 설명하겠다. 문제 : 철수는 사과 2개와 귤 3개를 샀다. 사과는 100원, 귤은 150원이다. 소비세가 10%일 때 지불금액은? 이를 계산 그래프로 풀면 다음과 같은 그림이 나온다. 소비세가 10% 이므로 1.1이 나중에 곱해지는 것을 볼 수 있다. 이 그림과 같이 왼쪽에서 오른쪽으로 가는 것을 순전파(feedforward)라고 한다. 그리고 이를 오른쪽에서 왼쪽으로 진행하는 것을 역전파(Backpropogation) 이라 한다. ## 왜 계산 그래프로 푸는가? 계산 그래프로 푸는 이유는 여러가지.. 2021. 7. 3. 이전 1 다음 반응형
