Gradient descent with momentum

이전 글 : Bias Correction of Exponentially Weighted 이번 글에서는 앞에서 배운 지수 가중 평균을...

4 minute read

Understanding Exponentially Weighted Averages

이전 글 : Exponentially Weighted Averages 이전 글에서는 그래디언트 디센트를 발전시키기 위하여 필요한 개념인 지수...

3 minute read

Exponentially Weighted Averages

이전 글 : Understanding mini-batch gradient descent 이번 글에서는 그래디언트 디센트 방법보다 빠른 최적화 방법에...

3 minute read

Understanding mini-batch gradient descent

이전 글 : Mini-batch gradient descent 이번 글에서는 미니 배치 그레디언트 디센트에 관하여 좀 더...

3 minute read

SCC(Strongly Connected Component)

이번 글에서는 SCC에 대하여 알아보도록 하겠습니다. SCC는 Strongly Connected Componet의 약자입니다. SCC의 정의 및 용도...

6 minute read

Mini-batch gradient descent

이번 시간에는 신경망 네트워크를 훨씬 더 빨리 트레이닝 시킬 수 있도록 도와주는 최적화 알고리즘에 대하여...

3 minute read

BatchNormalization, Dropout, Pooling 적용 순서

딥러닝 프레임워크를 이용하여 네트워크를 구성할 때 다양한 정규화 기법들을 사용하곤 합니다. 배치 정규화(batch normaliation), 드랍...

1 minute read

딥러닝 학습 시 사용되는 optimizer

출처 : 밑바닥부터 배우는 딥러닝 이번 글에서는 딥러닝 시 사용되는 optimizer들에 대하여 살펴보도록 하겠습니다. 확률적...

3 minute read

딥러닝 Backpropagation 정리

deep learning 관련 글 목록 딥러닝의 backpropagation 관련 내용과 자주 사용되는 식들의 미분값에 대하여 정리해...

4 minute read