반응형 sgd2 cs231n - Loss function & Optimization - Loss Function : score의 불만족한 부분을 정량화 - Opimization : Loss function을 최소화하는 파라미터를 찾는 과정 Loss function을 설명하기 위해 \( f(x,W) = Wx \)를 통해서 다음 그림과 같은 score를 구하였다. 위 그림과 같이 점수가 나오고 이러한 상태에서 두가지의 loss function에 대해 알아본다. 1. SVM - Hinge Loss 2. Softmax - Cross Entropy Loss ## Multiclass SVM Loss 예를 들어 \( (x_{i}, y{i}) \)가 있고, \( x_{i} \)는 이미지, \( y_{i} \)는 label이라고 하자. 이 때, SVM loss는 다음의 식과 같다. $$ L_{i} = .. 2021. 8. 27. Advanced Optimizer than SGD 본 글은 https://www.youtube.com/watch?v=a5R4gL1ObP8&list=PLSAJwo7mw8jn8iaXwT4MqLbZnS-LJwnBd&index=16 위 동영상을 바탕으로 하였습니다. ## Batch Stochastic Gradient Descent Gradient Descent 를 식으로 쓰면 다음과 같다, $$ \theta = \theta - \eta\triangledown J(\theta) $$ 여기서 \( \theta \)는 모델에 설정된 파라미터를 말하고 \( \eta \)는 learning rate, \( J(\theta) \) 는 loss function을 의미한다. 이는 파라미터 \( \theta \) 에서 loss 에 있는 파라미터 \( \theta \) 에 대한.. 2021. 8. 14. 이전 1 다음 반응형
