Bias Correction of Exponentially Weighted Averages

이전 글에서 다룬바와 같이 $\beta$ 가 0.9일 때는 그래프 상에 빨간색 선과 같은 값을 가지고 $\beta$ 가 0.98일 때에는 그래프 상에 초록샌 선과 같은 값을 가지게 됨을 알 수 있었습니다.
하지만 초기값을 어떻게 두느냐에 따라서 보라색 곡선을 가지게 될 수도 있는데, 보라색 곡선의 경우는 처음 값이 실제 데이터의 값을 따라가지 못하고 있는 문제가 있음을 알 수 있습니다.
예를 들어 보라색 곡선의 경우 초기값 $v_{0}$ 을 0으로 두었다고 볼 수 있습니다.
따라서 $\beta = 0.98$ 일 때, 초기값은 $v_{0} = 0$ 이 되고 $v_{1} = 0.98 * v_{0} + 0.02 * \theta_{1} = 0.02 * \theta_{1}$ 이 됩니다.
그리고 $v_{2} = 0.98 * v_{1} + 0.02 * \theta_{2} = 0.0196 * theta_{1} + 0.02 * \theta_{2}$ 가 되는데 이 값 또한 거의 0에 수렴합니다.
이런 초기값을 원래 데이터와 유사하도록 보정해 주는 작업이 필요한데 그 방법이 편향 보정 방법입니다.

위 슬라이드의 오른쪽을 보면 $v_{t}$ 값에 $1 - \beta^{t}$ 값을 나누어 줍니다.
예를 들어 t = 2인 경우 $1 - β^{2} = 1 - (0.98)^{2} = 0.0396$ 이 되므로 $\frac{v_{2}}{0.0396} = \frac{0.0196 * θ_{1} + 0.02 * θ_{2}}{0.0396}$ 이 됩니다.
- 즉 기존의 값인 $v_{2}$ 보다 좀 더 값이 커진 상태가 됩니다.
그리고 $t$ 의 값이 점점 커질수록 $\beta^{t}$ 의 값은 0에 수렴하게 되므로 편향 보정을 적용하여도 $v_{t}$ 와 거의 동일한 값을 가지게 됩니다.
즉, 초기값 부근에서만 값을 보정받을 수 있게 됩니다.
다음 글 : Gradient descent with momentum