감마분포와 지수분포 (Gamma distribution and Exponential distribution)

통계학 관련 글 목록

이번 글에서는 감마 분포와 지수 분포에 대하여 다루어 보려고 합니다.
감마 분포는 감마 함수와 연관되어 있어 이름이 감마 분포이고 지수 분포는 물론 지수 함수와 연관되어 있어 지수 분포 이름을 가지게 됩니다. 특히 지수 분포는 감마 분포의 특수한 경우에 해당됩니다.
감마 분포는 대표적으로 대기 시간이 얼마나 되는지, 어떤 사건이 발생할 때 까지 얼마나 많은 시간이 필요한 지 등에 사용되어 신뢰도에도 적용할 수 있습니다.

감마 함수

감마 함수는 $\alpha > 0$ 인 $\alpha$에 대하여 다음과 같이 정의 됩니다.

\[\Gamma(\alpha) = \int_{0}^{\infty}x^{\alpha - 1}e^{-x} dx\]

위 감마 함수는 대표적으로 다음 성질이 성립합니다.
① $\alpha > 1$일 때, $\Gamma(\alpha) = (\alpha -1)\Gamma(\alpha - 1)$
② $\Gamma(1) = 1$이고 양의 정수 n에 대하여 $\Gamma(n) = (n - 1)!$
③ $\Gamma(\frac{1}{2}) = \sqrt{\pi}$

두 성질을 보면 감마 함수는 팩토리얼을 실수 범위로 확장한 것으로 해석할 수 있습니다.
그러면 위 2가지 성질에 대하여 증명을 해보도록 하겠습니다.

먼저 ① 식을 증명하기 위하여 부분 적분의 성질을 이용해 보도록 하겠습니다. 다음과 같습니다.

\[\int f'(x)g(x) = f(x)g(x) - \int f(x)g'(x)\]

여기서 적분 하기 쉬운 것을 $f(x)$로 두겠습니다. $f(x) = e^{-x}$, $g(x) = x^{\alpha -1}$

\[\Gamma(\alpha) = -x^{\alpha - 1}e^{-x}\vert^{\infty}_{0} + \int^{\infty}_{0} (\alpha - 1)x^{\alpha - 2}e^{-x} dx\]
\[= (\alpha - 1)\Gamma(\alpha -1)\]

다음으로 ② 식을 증명해 보도록 하겠습니다.

\[\Gamma(1) = \int_{0}^{\infty}e^{-x} dx = -e^{-x} \vert_{0}^{\infty} = 1\]

\[\Gamma(n) = (n - 1)\Gamma(n-1) = (n - 1)(n - 2)\Gamma(n-3) = (n - 1)(n - 2) ... (1)\Gamma(1) = (n - 1)!\]

마지막으로 ③ 식에 대하여 다루어 보겠습니다. 실제로 감마 함수를 사용할 때, $\Gamma(\frac{1}{2}) = \sqrt{\pi}$를 많이 이용하는데 이 값이 어떻게 도출되는 지 다루어 보겠습니다. 이 값은 치환 적분과 극좌표를 이용하여 구할 수 있습니다.

\[\Gamma(\alpha) = \int_{0}^{\infty} t^{\alpha - 1} e^{-t} dt\]
\[\Gamma(\frac{1}{2}) = \int_{0}^{\infty} t^{-\frac{1}{2}} e^{-t}dt\]

이 때, $x = \sqrt{t}$로 치환하면, $dx = \frac{1}{2}t^{-\frac{1}{2}} dt$가 됩니다.

\[\Gamma(\frac{1}{2}) = 2 \int_{0}^{\infty} e^{-x^{2}} dx\]
\[\Gamma(\frac{1}{2})^{2} = 4 \int_{0}^{\infty} e^{-x^{2}} dx \int_{0}^{\infty} e^{-y^{2}} dy\]
\[= 4\int_{0}^{\infty} \Bigl(\int_{0}^{\infty} e^{-x^{2}} \Bigr)dx \ e^{-y^{2}} dy\]
\[= 4\int_{0}^{\infty}\int_{0}^{\infty} e^{-x^{2}}e^{-y^{2}}dx \ dy\]
\[= 4\int_{0}^{\infty}\int_{0}^{\infty} e^{-(x^{2} + y^{2})} dx \ dy\]

위 식에서 사용된 $x, y$를 극좌표가 사용되는 공간으로 가져와서 변환해 보도록 하겠습니다.

$Drawing$

위 그림과 같이 $x, y$는 $r, \theta$ 로 변환될 수 있고 범위도 변하게 되어 다음 식과 같아 집니다.

\[\int\int\ f(x, y)\ dx\ dy = \int\int\ f(r\cos(\theta), r\sin(\theta))\ r\ dr \ d\theta\]

위 식에서 $dx\ dy$ 가 $r\ dr \ d\theta$ 로 변환된 이유는 다음과 같습니다.

\[x = r\cos\theta\]
\[y = r\sin\theta\]

위 식에서 $r, \theta$를 이용하여 야코비안으로 변수 변환하면 다음과 같이 전개됩니다.

\[\begin{vmatrix} \frac{\partial(x, y)}{\partial(r, \theta)} \end{vmatrix}\]
\[= \begin{vmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{vmatrix}\]
\[= r\cos^{2}\theta + r\sin^{2}\theta = r\]
따라서 나머지 식을 전개하면 다음과 같이 정리됩니다.

\[\Gamma(\frac{1}{2})^{2} = 4 \int_{0}^{\frac{\pi}{2}} \int_{0}^{\infty} e^{-r^{2}}r \ dr \ d\theta\]

여기서 $\int_{0}^{\infty} e^{-r^{2}}r \ dr$ 부분과 $\theta$는 관련이 전혀 없으므로 $\theta$ 관련 적분 밖으로 나올 수 있습니다.

\[= 4 \int_{0}^{\infty} \Biggl( \int_{0}^{\frac{\pi}{2}}1 \ d\theta \Biggr) e^{-r^{2}}r \ dr\]
\[= 4 \cdot \frac{\pi}{2} \int_{0}^{\infty} re^{-r^{2}}\ dr\ d\theta\]

치환 적분을 통해 식을 전개 합니다. $u = -r^{2}, du = -2rdr$로 치환합니다. 그러면 다음 식과 같이 됩니다.

\[= 4 \cdot \frac{\pi}{2} \int_{0}^{\infty} re^{-u}\ \frac{-1}{2r}du\]
\[= 4 \cdot \frac{\pi}{2} \cdot (-\frac{1}{2}) \int_{0}^{\infty} e^{-u} du\]
\[= 4 \cdot \frac{\pi}{2} \cdot (-\frac{1}{2}) [ e^{-u} ]_{0}^{\infty}\]
\[= \pi\]

따라서 양변에 루트를 적용하면 최종적으로 다음과 같이 정리 됩니다.

\[\Gamma(\frac{1}{2}) = \sqrt{\pi}\]

감마 분포와 지수 분포

앞에서 살펴본 감마 함수를 이용하여 감마 분포에 대하여 알아보도록 하겠습니다. 먼저 감마분포의 정의는 다음과 같습니다.
연속 확률 변수 $X$의 확률 밀도 함수가 아래와 같이 주어질 때, $X$는 모수 $\alpha, \beta$를 가지는 감마 분포를 따릅니다.

\[f(x; \alpha, \beta) = \begin{cases} \frac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha - 1}e^{-\frac{x}{\beta}}, & x > 0 \\ 0, & \text{else} \ x \end{cases}\]
\[(\alpha > 0, \beta > 0)\]

$Drawing$

감마 분포의 분포 곡선은 위 그림과 같고 그 모양은 파라미터인 $\alpha, \beta$에 따라 달라지게 됩니다.
이 때, $\alpha$는 분포의 모양을 결정하므로 shape parameter 라고 하며 $\beta$는 크기를 결정하기 때문에 scale parameter 라고 합니다.
왼쪽 그림에서는 $\alpha$를 고정한 상태에서 $\beta$를 변경하여 가로 세로의 비율이 조정된 형태를 관찰할 수 있습니다.
오른쪽 그림에서는 $\beta$를 고정한 상태에서 $\alpha$를 변경하여 그래프의 모양이 변경되는 것을 관찰할 수 있습니다.

지수 분포는 감마 분포의 shape parameter $\alpha = 1$인 특수한 경우로 정의됩니다.
따라서 감마 분포로 부터 도출된 지수 분포의 정의는 다음과 같습니다.

\[f(x; \beta) = \begin{cases} \frac{1}{\beta}e^{-\frac{x}{\beta}}, & x > 0 \\ 0 & \text{else} \ x \end{cases}\]
\[(\beta > 0)\]

위 식에서 지수 분포는 모수 $\beta$에 따라 분포가 결정됩니다.

감마 분포에 대해서 간략하게 알아보았는데, 감마 함수에서 어떻게 감마 분포가 도출 되는 지 알아보겠습니다. 앞에서 소개한 것과 같이 감마 분포는 감마 함수 식에서 도출되었습니다.

\[\Gamma(\alpha) = \int_{0}^{\infty} t^{\alpha -1}e^{-t} dt\]

감마 함수의 양변에 $\Gamma(\alpha)$로 나누겠습니다.

\[1 = \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)}t^{\alpha-1}e^{-t}dt\]

양수 $\beta$에 대하여 $t = \frac{x}{\beta}$ 라고 하면 $dt = \frac{1}{\beta}dx$ 가 됩니다.
앞에서 전개한 식에 $t = \frac{x}{\beta}$과 $dt = \frac{1}{\beta}dx$를 대입해 보겠습니다.

\[1 = \int_{0}^{infty} \frac{1}{\Gamma(\alpha)}t^{\alpha-1}e^{-t}\ dt = \int_{0}^{\infty}\frac{1}{\Gamma(\alpha)} (\frac{x}{\beta})^{\alpha-1}e^{-\frac{x}{\beta}}\frac{1}{\beta} \ dx\]
\[= \int_{0}^{\infty} \frac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}e^{-\frac{x}{\beta}} \ dx = \int_{0}^{\infty} f(x; \alpha, \beta) \ dx\]

감마 분포의 평균과 분산

감마 분포의 평균과 분산은 다음과 같습니다.

\[\mu = \alpha\beta\]
\[\sigma^{2} = \alpha\beta^{2}\]

위 결과가 감마 분포와 감마 함수를 통해 어떻게 도출되는 지 알아보도록 하겠습니다.
먼저 평균 $\mu = E(X)$ 를 알아보도록 하겠습니다.

\[\mu = E(X) = x\cdot f(x; \alpha, \beta) = \frac{1}{\beta^{\alpha}\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha}e^{-\frac{x}{\beta}} \ dx\]
\[y = \frac{x}{\beta} \ \ \ \ \text{substitution : } \ \ x = \beta y, dx = \beta dy\]
\[\mu = \frac{\beta}{\Gamma(\alpha)} \int_{0}^{\infty} e^{-y} \ dy = \frac{\beta}{\Gamma(\alpha)}\Gamma(\alpha + 1) = \alpha\beta\]
\[\because \ \Gamma(\alpha) = \int_{0}^{\infty}t^{\alpha-1}e^{-t} \ dt, \Gamma(\alpha) = (\alpha-1)\Gamma(\alpha-1)\]

다음으로 분산 $\sigma^{2} = E(X^{2}) - E(X)^{2}$을 알아보도록 하겠습니다.

\[E(X^{2}) = \frac{1}{\beta^{\alpha}\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha+1}e^{-\frac{x}{\beta}} \ dx = \frac{\beta^{2}}{\Gamma(\alpha)} \int_{0}^{\infty} y^{\alpha+1}e^{-y} \ dy\]
\[\frac{\beta^{2}}{\Gamma(\alpha)}\Gamma(\alpha+2) = \frac{\beta^{2}}{\Gamma(\alpha)}\alpha(\alpha+1)\Gamma(\alpha) = \alpha(\alpha+1)\beta^{2}\]
\[\sigma^{2} = E(X^{2}) - \mu^{2} = \alpha^{2}\beta^{2} + \alpha\beta^{2} - \alpha^{2}\beta^{2} = \alpha\beta^{2}\]

지수 분포의 평균과 분산

감마 분포의 평균과 분산을 통해 지수 분포의 평균과 분산을 구해보겠습니다. 지수 분포는 감마 분포에서 $\alpha = 1$인 케이스입니다.

\[\mu = \beta\]
\[\sigma^{2} = \beta^{2}\]

포아송 과정과의 관계

포아송 분포는 어떤 길이의 시간이나 공간에서 특정한 시간이 발생할 확률을 나타냅니다.
- 주어진 시간간격/영역 동안 평균 $\mu = \lambda t$번 발생할 때, $x$번 발생할 확률

\[p(x, \lambda t) = \frac{e^{\lambda t}(\lambda t)^{x}}{x!} \ \ \ \ (x = 0, 1, 2, ...)\]

포아송 분포를 응용하면 $t$ 시간 동안 하나의 사건도 발생하지 않을 확률을 구할 수 있습니다.

\[p(0; \lambda t) = \frac{e^{\lambda t}(\lambda t)^{0}}{0!} = e^{-\lambda t}\]

이번에는 관점을 조금 바꾸어서 확률 변수 $x$를 첫번째 포아송 사건이 발생하기까지의 소요된 시간으로 보고 $f(x)$를 $x$의 확률밀도함수라고 생각하겠습니다.
그러면 첫번째 사건이 발생하기까지 걸린 시간이 $x$보다 클 확률 = $x$ 시간 내 포아송 사건이 1 건도 발생하지 않을 확률이 됩니다.

\[P(X > x) = e^{\lambda x}\]

그러면 $X$의 누적 분포 함수에 대하여 알아보겠습니다.

\[P(0 \le X \le x) = 1 - e^{\lambda x} = \int_{0}^{x} f(t) \ dt\]

위 식에서 $t$는 누적 분포 함수를 나타내기 위해 도입한 변수입니다. 여기서 $f(t)$를 구하기 위해서 $1 - e^{\lambda x}$를 미분하면 $f(x) = \lambda e^{\lambda x}$가 됩니다.

이 때, $\lambda = \frac{1}{\beta}$이면, $\frac{1}{\beta} e^{-\frac{x}{\beta}} = f(x;\beta)$로 지수 분포가 됩니다.
여기서 핵심은 포아송 분포에서 횟수를 생각하다가 관점을 바꾸어서 시간에 대하여 생각한 것이 지수 분포와 감마 분포가 되는 것입니다.

확률 분포 정리

포아송 분포와 지수 분포, 감마 분포의 관계는 이산형 확률 분포에서 이항 분포, 음이항 분포, 기하 분포 관계와 유사합니다.
베르누이 과정 : 1회 성공 확률이 $p$인 독립시행을 반복하여 시행
이항 분포 : n회 베르누이 시행 중 x번 성공할 확률
음이항 분포 : k번째 성공이 일어날 때 까지 x번 시행했을 확률
기하 분포 : 첫번째 성공이 일어날 때 까지 x번 시행했을 확률

포아송 과정 : 일정 시간 간격/영역에서 평균 $\mu$번 발생하는 사건의 발생 횟수의 확률은 시간 간격/영역의 크기에 비례
포아송 분포 : 어떤 사건이 일정 간격 동안 평균 $\mu = \lambda t$번 발생하였을 때, $x$번 발생할 확률
감마 분포 : 어떤 사건이 일정 간격 동안 발생 횟수의 평균이 $\frac{1}{\beta}$로 주어질 때, $\alpha$번 발생했을 시간(대기 시간)에 대한 확률 분포
지수 분포 : 어떤 사건이 첫번째 발생하기 까지 걸리는 시간에 대한 확률 분포

통계학 관련 글 목록

목차

감마 함수

감마 분포와 지수 분포

감마 분포의 평균과 분산

지수 분포의 평균과 분산

포아송 과정과의 관계

확률 분포 정리

감마 함수

감마 분포와 지수 분포

감마 분포의 평균과 분산

지수 분포의 평균과 분산

포아송 과정과의 관계

확률 분포 정리