Activation function 요약
2019, Dec 01
- 이번 글에서는 다양한 Activation function들을 쉽게 요약해 놓은 그림을 이용하여 설명드리겠습니다.
- 위 그림에서는 그래프와 식 그리고 미분을 했을 때의 gradient에 해당하는 값 까지 보기 쉽게 정리되어 있습니다.
- 특히 자주 사용하는
ReLU와PReLU의 식과 미분했을 때의 값을 유심히 보면 되겠습니다.
ReLU와 PReLU의 식과 미분했을 때의 값을 유심히 보면 되겠습니다.