본문 바로가기
반응형

밑바닥 딥러닝6

Chapter5 - Backpropogation ## 계산 그래프 오차역전파법을 이해하기 위해 간단한 그림을 통해 이해해보겠다. 계산하는 과정을 그림으로 나타낸 것을 계산 그래프라고 칭한다. 계산 그래프는 node와 edge로 구성된다. 하나의 예시를 들어 설명하겠다. 문제 : 철수는 사과 2개와 귤 3개를 샀다. 사과는 100원, 귤은 150원이다. 소비세가 10%일 때 지불금액은? 이를 계산 그래프로 풀면 다음과 같은 그림이 나온다. 소비세가 10% 이므로 1.1이 나중에 곱해지는 것을 볼 수 있다. 이 그림과 같이 왼쪽에서 오른쪽으로 가는 것을 순전파(feedforward)라고 한다. 그리고 이를 오른쪽에서 왼쪽으로 진행하는 것을 역전파(Backpropogation) 이라 한다. ## 왜 계산 그래프로 푸는가? 계산 그래프로 푸는 이유는 여러가지.. 2021. 7. 3.
Chapter4 - Training Neural Network(1) ## 신경망 학습이란? - 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 - 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표이다. 신경망은 이미지를 있는 그대로 학습하여 이미지에 포함된 중요한 특징까지 기계가 스스로 학습 하는 것이다. 머신러닝과 다른 점은 사람이 특징점을 알고리즘을 통해 직접 찾아야하는 것이지만 신경망은 특징점조차도 자동으로 찾게 하는 것이다. 따라서 딥러닝을 end-to-end machine learning 이라고 부른다. 이는 입력에서 출력을 사람의 개입없이 얻는다는 뜻이다. ## Train set과 Test set을 분리하는 이유 - 범용 능력을 제대로 평가하기 위해 나누는 것이다. - 범용능력이란 아직 보지 못한 데이터로도 문제를.. 2021. 2. 2.
Chapter3 - Neural Network(3) 2021/01/10 - [밑바닥 딥러닝] - Chapter3 - Neural Network(1) Chapter3 - Neural Network(1) 신경망 예시 맨 왼쪽 층을 입력층, 가운데 층을 은닉층, 맨 오른쪽 층을 출력층 가중치를 갖는 층(화살표가 있는) 2개 이므로 ‘2층 신경망’ 활성화 함수 활성화 함수(Activation Function) : 입력 신호 bigdata-analyst.tistory.com 2021/01/10 - [밑바닥 딥러닝] - Chapter3 - Neural Network(2) Chapter3 - Neural Network(2) 3층 신경망 구현하기 - 표기법 bias(편향) 값을 추가로 1층 신호의 a_1에 전달한다. 따라서 다음과 같은 식이 도출된다. 각각의 input.. 2021. 1. 10.
Chapter3 - Neural Network(2) 3층 신경망 구현하기 - 표기법 bias(편향) 값을 추가로 1층 신호의 a_1에 전달한다. 따라서 다음과 같은 식이 도출된다. 각각의 input값과 그에 대응하는 가중치가 전달되고 1번째 편향을 더해준다. 이를 행렬로 표현하면 위와 같이 표현이 된다. 그리고 1층 layer에선 입력값과 가중치 그리고 편향을 전달받고 1층 내에선 앞서 언급한 활성화 함수(activation function)을 적용시킨다. 여기선 sigmoid 함수를 적용시킨다. 활성화 함수는 h() 라고 표현하며 h(a1)으로 1층 layer의 첫번째 값이 sigmoid 활성화 함수를 적용 받았음을 표현한 것이다. 다음 레이어와 output 레이어까지도 같은 원리가 작동한다. 지금까지의 과정을 코드로 표현해보겠다. # Input -> .. 2021. 1. 10.
Chapter3 - Neural Network(1) 신경망 예시 맨 왼쪽 층을 입력층, 가운데 층을 은닉층, 맨 오른쪽 층을 출력층 가중치를 갖는 층(화살표가 있는) 2개 이므로 ‘2층 신경망’ 활성화 함수 활성화 함수(Activation Function) : 입력 신호의 총합을 출력 신호로 변환하는 함수 : 입력 신호의 총합이 활성화를 일으키는지 정하는 역할 가중치가 달린 입력 신호와 편향의 총합을 a라 칭함 이러한 a를 h 함수(활성화 함수)에 넣어 출력 하는 것이 y 가중치 신호를 조합한 결과가 a 라는 노드, 활성화 함수 h()를 통과하여 y 라는 노드로 변환 단순 퍼셉트론 : 단층 네트워크에서 계단함수(임계값을 경계로 출력이 바뀌는 함수)를 활성화 함수로 사용한 모델 다층 퍼셉트론 : 여러 층으로 구성되고 여러 활성화 함수를 사용하는 신경망 모델.. 2021. 1. 10.
Chapter2 - Perceptron 퍼셉트론이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. - 신호 : 흐름이 있는 것이라고 정의 (1 : 신호가 흐른다. 0: 신호가 흐르지 않는다.) x1과 x2 : input (입력 신호), (w1,w2) : 각각의 가중치, y : 출력 신호 여기서 theta는 임계값(한계점이라고 이해) 퍼셉트론은 각각의 고유한 가중치를 부여. 각 가중치가 신호의 결과에 주는 영향력을 조절. 즉, 가중치가 클수록 해당 신호가 그만큼 더 중요 논리회로 - AND 게이트 x1 x2 y 0 0 0 1 0 0 0 1 0 1 1 1 모두 1일 때만 1 예시) (w_1,w_2,theta)가 (0.5,0.5,0.7) or (0.5,0.5,0.8) or (1.0,1.0,1.0) - NAND(Not AND) 게이트 x1 .. 2020. 12. 28.
반응형

티스토리툴바