역전파 학습 개념

기울기 강하 기법을 이용한 신경망 학습 알고리즘은

에러 기울기를 이용해서 가중치를 변경하는 것이다.

 

이 때, 에러 기울기는 손실함수를 특정 가중치에 대해서 미분시킨 값이다.이것이 손실함수에서 특정w에 대한 접선의 기울기이다.

 

노드의 에러 기울기

노드의 가중입력합에 대한 에러함수의 기울기.

손실함수를 미분하여 가중입력합을 대입한 값이다.

 

가중치 에러 기울기

가중치에 대한 에러함수의 기울기.

 

 

---

출력계층 노드 에러 기울기 구하는 방법

 

활성화함수를 미분하여 가중입력합을 대입한 값 * 손실함수를 미분하여 출력을 대입한 값

 

--> 활성화함수 시그모이드를 미분하면, 시그모이드(가중입력합)*(1-시그모이드(가중입력합)) 값으로 계산가능

--> 손실함수는 평균제곱에러일 때 -(d1-y1)으로 계산가능

 

--> 따라서, 평균제곱에러 손실함수를 사용하고 활성화함수로 시그모이드를 사용하는 경우에는:

시그모이드(가중입력합) * (1-시그모이드(가중입력합)) * (- (목표값-추론값)) 으로 계산가능

 

 

은닉계층 노드 에러 기울기 구하는 방법

활성화함수(가중입력합) 의 미분값 * 후방계층 노드들의 가중 노드 에러 기울기의 합

 

--> 활성화함수 시그모이드를 사용하는 경우 활성화함수 미분값은 (시그모이드값 * (1-시그모이드 값))임.

 

-> 후방계층 노드들의 가중 노드 에러 기울기의 합은 단순하게 (가중치 * 후방 노드 에러 기울기) 를 구해서 다 더해주면 됨

 

 

가중치 에러 기울기 구하는 방법

앞단 노드의 출력 * 뒷단 노드의 에러 기울기

 

가중치 갱신 방법

새 가중치 = 기존 가중치 - 학습률 * 가중치에러기울기

--> 새 가중치 = 기존 가중치 - 학습률 * (앞단 노드의 출력 * 뒷단 노드의 에러 기울기)