Gradient descent with momentum
이전 글 : Bias Correction of Exponentially Weighted 이번 글에서는 앞에서 배운 지수 가중 평균을...
2019, Jul 20 — 4 minute read이전 글 : Bias Correction of Exponentially Weighted 이번 글에서는 앞에서 배운 지수 가중 평균을...
2019, Jul 20 — 4 minute read이전 글 : Understanding Exponentially Weighted Averages 앞의 글에서는 지수 가중 평균을 어떻게 구현하는지 대하여...
2019, Jul 17 — 2 minute read이전 글 : Exponentially Weighted Averages 이전 글에서는 그래디언트 디센트를 발전시키기 위하여 필요한 개념인 지수...
2019, Jul 17 — 3 minute read이전 글 : Understanding mini-batch gradient descent 이번 글에서는 그래디언트 디센트 방법보다 빠른 최적화 방법에...
2019, Jul 17 — 3 minute read이전 글 : Mini-batch gradient descent 이번 글에서는 미니 배치 그레디언트 디센트에 관하여 좀 더...
2019, Jul 16 — 3 minute read이번 글에서는 SCC에 대하여 알아보도록 하겠습니다. SCC는 Strongly Connected Componet의 약자입니다. SCC의 정의 및 용도...
2019, Jul 14 — 6 minute read이번 시간에는 신경망 네트워크를 훨씬 더 빨리 트레이닝 시킬 수 있도록 도와주는 최적화 알고리즘에 대하여...
2019, Jul 08 — 3 minute read딥러닝 프레임워크를 이용하여 네트워크를 구성할 때 다양한 정규화 기법들을 사용하곤 합니다. 배치 정규화(batch normaliation), 드랍...
2019, Jun 30 — 1 minute read출처 : 밑바닥부터 배우는 딥러닝 이번 글에서는 딥러닝 시 사용되는 optimizer들에 대하여 살펴보도록 하겠습니다. 확률적...
2019, Jun 30 — 3 minute readdeep learning 관련 글 목록 딥러닝의 backpropagation 관련 내용과 자주 사용되는 식들의 미분값에 대하여 정리해...
2019, Jun 29 — 4 minute read