반응형 Activation Function1 cs231n - Backpropogation and NN part1 ## Backpropogation Backpropogation = 역전파를 이해하기 위해 간단한 그림으로 설명을 시작한다. 역전파를 보기 전에 먼저 순전파(feedforward)부터 보자. 위 그래프는 \( f(x,y,z) = (x+y)z \)를 그림으로 나타낸 것이다. 그리고 x = -2, y=5, z=4를 임의로 대입한다. 위 그래프처럼 +를 먼저 계산하고 그 다음에 z 값을 곱하는 순서대로 해서 최종 답 -12를 도출한다. 여기서 + 과정을 매개변수 q 라고 하자. 그러면 식은 \( q = x+y, f=qz \)가 된다. 이러한 식이 도출됐을 때 간단하게 미분을 해주면 다음과 같이 된다. $$ \frac{\partial q}{\partial x} = 1, \frac{\partial q}{\parti.. 2021. 8. 30. 이전 1 다음 반응형
