이변량 정규 분포 (1)

출처 :
- Probability & Statistics for Engineers & Scientists. 9th Edition.(Walpole 저. PEARSON)
- 수리통계학 (김수택 저. 자유 아카데미)
통계학 관련 글 목록
이번 글과 다음글에서는 이변량 정규 분포에 대하여 자세하게 알아보도록 하겠습니다.

조건부 평균과 조건부 분산

X, Y의 결합 밀도함수가 f(x,y) $f (x, y)$ 이고, 각각의 주변분포 함수를 fx(x),fy(y) $f_{x} (x), f_{y} (y)$ 라고 합니다.
- 이산형에서 주변 분포를 구할 때, 어떤 x를 기준으로 y를 모두 더하면 x에 대한 주변 분포를 구할 수 있습니다.
- 이산형에서 주변 분포를 구할 때, 어떤 y를 기준으로 x를 모두 더하면 y에 대한 주변 분포를 구할 수 있습니다.
- 연속형에서는 주변 분포를 구할 때, 어떤 x를 기준으로 y에 대하여 적분하면 x에 대한 주변 분포를 구할 수 있습니다.
- 연속형에서는 주변 분포를 구할 때, 어떤 y를 기준으로 x에 대하여 적분하면 y에 대한 주변 분포를 구할 수 있습니다.

조건부 확률 밀도 함수
- X = x로 주어질 때, Y에 대한 조건부 확률밀도 함수 : fY|X(y|x)=f(x,y)fX(x) $f_{Y | X} (y | x) = \frac{f (x, y)}{f_{X} (x)}$
  - 즉, x가 고정일 때 Y의 분포
- Y = y로 주어질 때, X에 대한 조건부 확률밀도 함수 : fX|Y(x|y)=f(x,y)fY(y) $f_{X | Y} (x | y) = \frac{f (x, y)}{f_{Y} (y)}$
  - 즉, y가 고정일 때 X의 분포

조건부 평균
- X = x 일 때, Y의 조건부 평균 (조건부 기댓값)
  - ·μY|X=E(Y|x) $μ_{Y | X} = E (Y | x)$
    - 이산형 : $\sum_{y} y f(y \vert x)$
    - 연속형 : $\int_{-\infty}^{\infty} yf(y\vert x) dy$
- Y = y 일 때, X의 조건부 평균 또한 위의 방식과 똑같이 적용할 수 있습니다.
- 구하려는 분포의 식이 x와 y의 합성 함수라고 하여도 x 또는 y가 고정되어 있으므로 같은 방식으로 적용할 수 있습니다.
- 즉, X = x 일 때, u(x, Y)의 조건부 평균 :
  - ·E(u(X,Y)|x) $E (u (X, Y) | x)$
    - 이산형 : $\sum_{y} u(x,y) f(y \vert x)$
    - 연속형 : $\int_{-\infty}^{\infty} u(x,y) f(y \vert x) dy$
- 조건부 평균의 핵심은 특정 변수가 고정된 상태에서의 평균이라고 생각하면 됩니다.

조건부 분산
- ·σ2Y|x=E((Y−E(Y|x))2|x)=E(Y2|x)−E(Y|x)2 $σ_{Y | x}^{2} = E ((Y - E (Y | x))^{2} | x) = E (Y^{2} | x) - E (Y | x)^{2}$
  - 조건부 분산의 핵심 또한 특정 변수가 고정된 상태 에서의 분산이라고 생각하면 됩니다.

조건부 기대값의 성질
- · $E(aX + bY + c \vert Z = z) = aE(x \vert z) + bE(Y \vert z) + c$
- ·E(E(Y|X))=E(Y) $E (E (Y | X)) = E (Y)$
  - X = x로 고정된 상태에서 Y에 대한 평균을 구하는 것
  - 즉, $X = {x_{1}, x_{2}, ...}$ 에서 여러가지 $x_{i}$ 로 변경해 가면서 평균을 구하였을 때, 결국에는 $E(Y)$ 와 같아집니다.
  - 아래 증명을 참조 하시기 바랍니다.
- ·E(E(u(X,Y)|X))=E(u(X,Y)) $E (E (u (X, Y) | X)) = E (u (X, Y))$
  - 아래 증명을 참조 하시기 바랍니다.
- ·E(g(x)Y|X=x)=g(x)E(Y|x) $E (g (x) Y | X = x) = g (x) E (Y | x)$
  - X = x로 고정되어 있기 때문에 g(x) 즉 소문자 x가 대입된 값이 곱 형태로 빠져나올 수 있습니다.
- ·σ2Y=Var(Y)=E(Var(Y|X))+Var(E(Y|X)) $σ_{Y}^{2} = V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))$
  - 분산은 조건부 분산의 평균과 조건의 평균의 분산의 합으로 표현 가능합니다.
  - 아래 증명을 참조 하시기 바랍니다.

· $E(E(Y \vert X)) = E(Y)$ 증명
·E(E(Y|X)) $E (E (Y | X))$
- ·=∫∞−∞(∫∞−∞yf(y|x)dy)fxxdx $= \int_{- \infty}^{\infty} (\int_{- \infty}^{\infty} y f (y | x) d y) f_{x} x d x$
  - 이중 적분으로 식을 정리해 보겠습니다.
- ·=∫∞−∞∫∞−∞yf(y|x)fxxdydx $= \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} y f (y | x) f_{x} x d y d x$
  - · $f(x,y) = f(y \vert x) f(x)$ 를 이용하여 식을 정리하면
- ·=∫∞−∞∫∞−∞yf(x,y)dxdy $= \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} y f (x, y) d x d y$
  - 먼저 x에 대하여 적분할 수 있도록 식을 변경합니다.
- ·=∫∞−∞y(∫∞−∞f(x,y)dx)dy $= \int_{- \infty}^{\infty} y (\int_{- \infty}^{\infty} f (x, y) d x) d y$
  - x에 대하여 적분을 하면 Y 확률 변수에 대한 주변 확률 분포를 구할 수 있습니다.
- ·=∫∞−∞yfY(y)dy $= \int_{- \infty}^{\infty} y f_{Y} (y) d y$
  - y의 평균 식으로 변경이 됩니다.
- · $= E(Y)$

· $E(E(u(X,Y) \vert X)) = E(u(X,Y))$ 증명
·E(E(u(X,Y)|X)) $E (E (u (X, Y) | X))$
- ·=∫∞−∞(∫∞−∞u(x,y)f(y|x)dy)fx(x)dx $= \int_{- \infty}^{\infty} (\int_{- \infty}^{\infty} u (x, y) f (y | x) d y) f_{x} (x) d x$
  - 이중 적분으로 식을 정리해 보겠습니다.
- ·=∫∞−∞∫∞−∞u(x,y)f(y|x)fx(x)dydx $= \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} u (x, y) f (y | x) f_{x} (x) d y d x$
  - 조건부 분포와 확률의 곱은 결합 확률 분포로 나타낼 수 있습니다.
- · $= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} u(x,y) f(x,y) dy dx$
- · $= E(u(X, Y))$

· $\sigma^{2}_{Y} = Var(Y) = E(Var(Y \vert X)) + Var(E(Y \vert X))$ 증명
· $E(Var(Y \vert X))$
·=E(E(Y2|X)−E(Y|X)2) $= E (E (Y^{2} | X) - E (Y | X)^{2})$
- · $E(E(Y^{2} \vert X) = E(Y^{2})$ 이므로
·=E(Y2)−E(Y)2+E(Y)2−E(Y|X)2) $= E (Y^{2}) - E (Y)^{2} + E (Y)^{2} - E (Y | X)^{2})$
- 식의 전개를 위하여 $- E(Y)^{2} + E(Y)^{2}$ 을 추가하였습니다.
- · $Var(Y) = E(Y^{2}) - E(Y)^{2}$ 식을 다음 전개에 이용하겠습니다.
- · $E(E(Y \vert X)) = E(Y)$ 식을 다음 전개에 이용하겠습니다.
· $= Var(Y) + E(E(Y \vert X))^{2} - E(E(Y \vert X)^{2})$
· $= Var(Y) - Var(E(Y \vert X))$
식을 최종적으로 정리하면 $Var(Y) = E(Var(Y \vert X)) + Var(E(Y \vert X))$ 가 됩니다.

공분산
- ·Cov(X,Y)=σXY=E((X−μX)(Y−μY)) $C o v (X, Y) = σ_{X Y} = E ((X - μ_{X}) (Y - μ_{Y}))$
  - 이산형 : $\sum_{x}\sum_{y} (x - \mu_{x})(y - \mu_{y}) f(x, y)$
  - 연속형 : $\int_{-\infty}^{\infty} y(\int_{-\infty}^{\infty} (x - \mu_{x})(y - \mu_{y}) f(x, y) dx dy$
- · $\sigma_{XY} = E(XY) - \mu_{X}\mu_{Y}$
상관계수
- · $\rho_{XY} = \frac{\sigma_{XY}}{\sigma_{X}\sigma_{Y}} = \frac{Cov(X, Y))}{ \sqrt{Var(X)}\sqrt{Var(Y)} }$
공분산과 상관계수를 이용하여 조건부 평균에 이용해 보겠습니다.

X = x일 때, Y의 조건부 평균이 x에 대해 선형인 경우 (즉, $E(Y \vert x) = a + bx$ )
이산형의 경우 a+bx=E(Y|x)=∑yyf(y|x)=∑yyf(x,y)fX(x) $a + b x = E (Y | x) = \sum_{y} y f (y | x) = \sum_{y} y \frac{f (x, y)}{f_{X} (x)}$
- ·∑yyf(x,y)=(a+bx)fX(x) $\sum_{y} y f (x, y) = (a + b x) f_{X} (x)$
  - 양변에 summation x를 추가해 줍니다.
- ·∑x∑yyf(x,y)=∑x(a+bx)fX(x) $\sum_{x} \sum_{y} y f (x, y) = \sum_{x} (a + b x) f_{X} (x)$
  - 좌변은 $E(Y)$ 로 우변은 $E(a + bx)$ 로 정리 됩니다.
- · $E(Y) = E(a + bX)$
- · $\mu_{Y} = a + b\mu_{X}$ : 1번식
- 또한 $\sum_{x}\sum_{y} yf(x,y) = \sum_{x}(a + bx)f_{x}(x)$ 의 식 양변에 x를 곱하여 다음과 같이 변형합니다.
- · $\sum_{x}\sum_{y} xy f(x,y) = \sum_{x} (ax + bx^{2}) f_{X}(x)$
- · $E(XY) = E(aX + bX^{2}) = aE(X) + bE(X^{2})$
- 공분산의 다음 성질을 참조하면
  - · $E(XY) = \sigma_{XY} + \mu_{X}\mu_{Y}$
  - · $\sigma_{XY} = \rho_{XY}\sigma_{X}\sigma_{Y}$
  - · $E(X^{2}) - \mu_{X}^{2} = \sigma_{X}^{2}$
- · $E(XY) = \sigma_{XY} + \mu_{X}\mu_{Y} = \mu_{X}\mu_{Y} + \rho_{XY}\sigma_{X}\sigma_{Y}$ 로 전개할 수 있습니다.
- · $E(Y) = E(a + bx)$ 이므로 $E(XY) = E(aX + bX^{2})$ 으로 표현할 수 있습니다.
- 따라서 식을 최종적으로 정리하면 $\mu_{X}\mu_{Y} + \rho_{XY}\sigma_{X}\sigma_{Y} = a\mu_{X} + b(\mu_{X}^{2} + \sigma_{X}^{2})$ : 2번식
- 1번식과 2번식을 이용해 보겠습니다.
  - 1번식 : $$ \mu_{Y} = a + b\mu_{X}
  - 2번식 : $\mu_{X}\mu_{Y} + \rho_{XY}\sigma_{X}\sigma_{Y} = a\mu_{X} + b(\mu_{X}^{2} + \sigma_{X}^{2})$
  - 연립 방적식을 풀면 해는 다음과 같습니다.
    - · $a = \mu_{y} - \rho\frac{\sigma_{Y}}{\sigma_{X}}\mu_{X}$
    - · $b = \rho\frac{\sigma_{Y}}{\sigma_{X}}$
  - 따라서 $E(Y \vert x) = \mu_{Y} + \rho\frac{\sigma_{Y}}{\sigma_{X}}(x - \mu_{X})$