Statistical modeling, Bayesian modeling, Monte carlo estimation, Markov chain.

2020, Mar 15    

• 통계학 관련 글 목록

• 이번 글에서는 Statistical modeling, Bayesian modeling, Monte carlo estimation 그리고 Markov chain 까지 연계해서 다루어보도록 하겠습니다.

목차

• Statistical model이란?

• Modeling process

• Components of Bayesian models

• Model specification

• Posterior derivation

• Non-conjugate models

• Monte Carlo integration

• Monte Carlo error and marginalization

• Computing examples (with Python)

Statistical model이란?

• statistical model이 무엇일까요? statistical model은 데이터 생성 과정을 모델링 한 것입니다. statistical model은 다양한 변수들의 관계에 대하여 설명하는데 이 변수들은 데이터 속에서 매우 다양하게 나타나고 불확실하게 나타나는 특성을 가집니다.
• 예를 들어 변수들이 너무 다양하거나 변수들의 관계가 너무 복잡하면 변수들 간의 관계를 알아차리기가 어려워 random behavior 형태로 데이터가 나타날 수 있습니다.
• 이러한 random behavior들의 불확실성과 다양성을 나타내기 위해서는 확률 이론을 도입해서 나타낼 수 있습니다. 이 때 사용하는 것이 바로 statistical model이 됩니다.
• statistical model의 첫번째 목적은 불확실성의 정량화(quantify uncerntainty)입니다.
  • 예를 들어 투표를 하였을 때, 투표율이 57% 라고 한다면 이 데이터를 정확히 믿을 수 있을까요? 어떤 집단에서 어떻게 뽑았느냐에 따라서 데이터의 정합성이 달라질 수 있습니다. 만약 99%의 신뢰도로 (51%, 63%) 범위의 투표율을 가진다고 표현한다면 좀 더 적합해 보입니다. 즉, 불확실성에 대한 수치를 정량화 함으로써 막연한 데이터를 좀 더 수치적으로 표현할 수 있고 좀 더 많은 정보를 얻을 수 있습니다.
• statistical model의 두번째 목적은 어떤 가정에 대한 근거를 마련하기 위함입니다.
  • 예를 들어 어떤 후보에 대한 지지율이 여성들은 55%, 남성들은 59%이므로 남성들이 더 선호한다 와 같이 근거를 마련하는 데 사용됩니다.
• statistical model의 세번째 목적은 예측(prediction)입니다. 사실 이 목적으로 저희는 statistical model을 많이 사용합니다.
  • 다양한 변수들을 조합하였을 때, 어떤 후보의 지지율이 가장 높을 지 예측 하거나 어떤 변수들을 조합하였을 때, 이런 패턴의 투표자들은 어떤 후보를 뽑을 지 등등 다양한 예측을 하는데 statistical model이 사용됩니다. 특히 이러한 방법들을 machine learning 으로 사용되는데 machine learning의 주 목적인 prediction을 하는데 model이 사용됩니다.

Modeling process

• 그러면 statistical model을 어떻게 모델링 하는 지 스텝 별로 차례대로 알아보도록 하겠습니다.
• ① Understand the problem
  • 모델을 정의하기 전에 분석해야 할 문제를 정확히 이해해야 합니다. 예를 들어 여러 데이터를 모았는데 단위가 다르다면 모델링이 시작부터 잘못될 수도 있습니다.
• ② Plan & Collect data
  • 어떻게 데이터를 모으고 얼마나 많이 모을 지 계획해야 합니다. 어떤 계획을 세워서 데이터를 모으느냐에 따라서 데이터의 질이 달라집니다. 특히 데이터가 다양한 케이스를 모두 포함시킬 수 있도록 하려면 계획을 잘 세우지 않으면 특정 케이스만 모이게 될 가능성이 높습니다.
• ③ Explore your data
  • 수집한 데이터를 시각화하여 데이터를 이해하는 단계입니다. 이 단계에서는 데이터에서 나타나는 변수들 간의 관계에 대하여 살펴보고 어떤 statistical model을 사용할 지 결정하기 위한 정확한 데이터 이해를 해야합니다.
• ④ Postulate model
  • 앞에서 데이터가 어떤 지 이해하였다면, 데이터를 잘 표현할 수 있는 모델을 선정해야합니다. 모델을 선정할 때에는 model complexity와 model generalizability의 tradeoff(bias - variance tradeoff)를 고려하여 선정해야 하는데 정확한 데이터에 대한 이해가 있으면 선정하는 데 도움이 됩니다. 즉, 복잡한 모델은 overfitting 문제를 만들 수 있는데 어느 정도 복잡한 모델을 사용할 지에 대한 기준은 데이터를 통해 정해야 합니다.
• ⑤ Fit model
  • 이 단계에서는 모델에서 사용되는 파라미터들을 추정해야 합니다. 이 글에서는 bayesian 방법으로 파라미터 추정을 할 예정입니다.
  • 정확히 이 단계에서 Bayesian과 Frequentist의 패러다임이 나뉘게 됩니다.
• ⑥ Check model
  • 선정한 모델과 파라미터 추정이 잘 되었는 지 확인하는 단계입니다. 적절한 metric을 이용하여 얼마나 데이터에 대한 일반화 성능이 좋은지 확인합니다.
• ⑦ Iterate ④, ⑤, ⑥
  • 더 좋은 성능을 내기 위하여 모델을 다시 선택하거나 (④) 파라미터 추정(⑤)을 다시해본 뒤 성능 측정(⑥)을 하는 과정을 반복합니다.
• ⑧ Use model
  • 수집한 데이터에 가장 적합한 모델과 파라미터를 찾았다면 이 모델을 사용합니다.

• 지금까지 statistical modeling이 무엇이고 어떤 과정을 거치는 것인 지 알아보았습니다.
• 앞에서 설명하던 중 Fit model을 할 때에 Bayesian 패러다임을 사용할 것이라고 말하였는데 지금부터 Bayesian modeling에 대하여 간략히 알아보도록 하겠습니다.

Components of Bayesian models

• 이번에는 주제를 바꿔서 bayesian modeling에 대하여 다루어 보도록 하겠습니다. 쉽게 예를 들어서 설명해 보겠습니다.
• 15명의 사람이 있고 이 사람들의 키가 정규 분포를 따른다고 가정해 보겠습니다. 그러면 다음 식처럼 분포를 정의할 수 있습니다.

• \[n = 15, \ \ \ \ y_{i} = \mu + \epsilon_{i}, \ \ \ \ \epsilon_{i} \sim N(0, \sigma^{2}) \dots ( ext{i.i.d})\]
• • \[y_{i} \sim N(\mu, \sigma^{2}) \dots ( ext{i.i.d})\]

• 위 식을 이용할 때, 여기 까지는 frequentist와 bayesian의 접근 방법이 같습니다.
• 여기 까지 frequentist의 접근 방법은 \(\mu\)와 \(\sigma\)를 알기 위해서 가지고 있는 표본을 이용하여 이 값들을 구하고 만약 샘플링을 다시 한다면 다시 계산하여 이 값을 구하는 방식을 이용합니다. 일반적인 사람들이 많이 사용하는 방법입니다.
• 반면 bayesian의 접근 방법은 \(\mu\)와 \(\sigma\)를 각각 고유한 확률 분포를 가지는 random variable로 다루는 방식입니다. 이 변수들을 각각 다룰 때, 이것을 prior 라고 합니다.
• 다시 정리하면 frequentist와 bayesian의 가장 큰 차이점은 다음과 같습니다.
  • frequentist : unknown paramter를 constant로 둔다.
  • bayesian : unkown paramter를 random variable로 둔다.
• 베이지안에는 크게 3가지 요소인 likelihood, prior, posterior가 있습니다.
• likelihood는 데이터에 대한 확률적 모델의 값입니다. 데이터에 대한 이란 의미에서는 데이터를 나타내는 파라미터 \(\theta\)로 표현할 수 있고 확률적 모델에서 확률 모델을 \(y\) 라고 한다면 (확률 모델은 정규분포가 될 수도 있고 이항 분포가 될수도 있고 아니면 다양한 다른 다양한 분포가 될 수 있습니다.) likelihood는 다음과 같습니다.

• \[\text{likelihood} = p(y \vert \theta)\]

• prior는 데이터의 확률입니다. 앞에서 frequentist의 접근 방법에서 \(\mu\)와 \(\sigma\) 값을 얻을 때, 단순히 주어진 데이터를 통해서 구한 것과 의미가 같습니다. frequentist의 방법에서는 \(\mu\)와 \(\sigma\)의 값이 목적이지만 prior는 그런 데이터가 나올 확률이 목적입니다.

• \[\text{prior} = p(\theta)\]

• 데이터가 나올 확률과 그 데이터에 대한 확률적 모델을 연관시켜서 보면 joint distribution 형태로 나타낼 수 있습니다.

• \[p(y, \theta) = p(\theta)p(y \vert \theta)\]

• posterior는 likelihood와 반대로 확률적 모델의 값에 대한 데이터의 확률입니다. 이 값은 앞에서 정의한 joint distribution을 이용하여 다음과 같이 표현할 수 있습니다.

• \[p(\theta \vert y) = \frac{p(\theta, y)}{p(y)} = \frac{p(\theta, y)}{\int p(\theta, y)d\theta} = \frac{p(y \vert \theta)p(\theta)}{\int p(y \vert \theta)p(\theta)d\theta}\]

• 위 식을 보면 조건부 확률로 분모가 \(p(y)\)가 되어 즉, 확률적 모델의 값이 \(p(y)\)가 되었을 때의 경우로 한정이 되고 그 때, 데이터 \(\theta\)가 나올 확률을 나타냅니다.
• 또한 위 식의 \(\int\)는 일반화 시키기 위해 사용한 식의 기호이며 이산 확률 변수의 경우 \(\sum\)으로 대체해도 됩니다.

Model specification

• 모델을 fitting 하기 전에 먼저 모든 구성 요소를 지정해야 합니다. 이를 위한 한 가지 편리한 방법은 모델을 계층적 형식(hierarchical form)으로 표현해 보는 것입니다. 즉, 계층별로 모델이 레이어(단계)에 지정되어 있음을 의미합니다.
• 앞에서 다룬 키에 관한 예제를 이용해서 다시 살펴보도록 하겠습니다.
• 먼저 random variable인 \(y_{i} \vert \mu, \sigma^{2}\)에 대하여 알아보겠습니다.

• \[y_{i} \vert \mu, \sigma^{2} \ \sim \ N(\mu, \sigma^{2}) \dots (\text{i.i.d}), \ \ \ i = 1, 2, ..., n\]

• 그 다음 prior에 대하여 알아보겠습니다. 이 때, \(\mu\)와 \(\sigma\)는 독립이라고 가정하겠습니다. 평균과 분산을 독립이라고 가정하였기 때문에 분리해서 표현할 수 있습니다.

• \[p(\mu, \sigma^{2}) = p(\mu)p(\sigma^{2})\]

• 그리고 \(\sigma^{2}\)의 값을 알면 \(\mu\) 의 conjugate가 정규 분포이고, \(\mu\)가 알려져있을 때 \(\sigma^{2}\) 의 conjugate가 inverse gamma distribution이라는 것이 알려져 있습니다. 따라서 다음과 같이 적어보겠습니다. 아래 파라미터의 인덱스 0은 단순히 숫자를 표시하기 위해 적었습니다.

• \[\mu \ \sim \ N(\mu_{0}, \sigma_{0}^{2})\]
• \[\sigma^{2} \ \sim \ \text{Inverse Gamma}(\nu_{0}, \beta_{0})\]

• 이제 위 식을 이용하여 prior 에서 likelihood 까지 어떻게 graphic 하게 표현해보겠습니다.

• 위 그림에서 한 개의 동그라미는 자체적으로 분포를 가지는 random variable 임을 뜻합니다.
• 두 개의 동그라미는 데이터에서 관측이 가능한 random variable임을 뜻합니다.
• 화살표의 뜻은 도착점의 random variable이 시작점의 random variable에 종속적이라는 뜻입니다. 즉, \(y_{i}\)는 -

• \(\mu\)와 \(\sigma^{2}\)에 종속적입니다.

• 위 그림과 같이 정리해서 표현할 수도 있습니다.
• 위와 같이 graphic 하게 표현할 때, 시작점은 dependency가 없는 random variable에서 부터 시작하면 됩니다.
• 예제에서는 \(\mu\)와 \(\sigma\)가 그 시작점이 될 수 있고 이 시작점이 바로 prior가 됩니다.

• Posterior derivation

• Posterior에 대하여 알아보기 위해 다음과 같은 hierarchical model 예제를 정의해 보겠습니다.

• \[y_{i} \vert \mu, \sigma^{2} \sim N(\mu, \sigma^{2})\]
• \[\mu \vert \sigma^{2} \sim N(\mu_{0}, \sigma^{2})\]
• \[\sigma^{2} \sim \text{inverse gamma}(\nu_{0}, \beta_{0})\]

• 위 식을 그래프로 나타내면 다음과 같습니다.

• 이 식을 joint distribution 형태로 나타내 보겠습니다.

• \[p(y_{1}, \cdots, y_{n}, \mu, \sigma^{2}) = p(y_{1}, \cdots, y_{n} \vert \mu, \sigma^{2})p(\mu \vert \sigma^{2})p(\sigma^{2}) = \prod_{i=1}^{n} = \Biggl( N(y_{i} \vert \mu, \sigma^{2}) \Biggr) \times N(\mu \vert \mu_{0}, \sigma^{2}) \times \text{inverse gamma}(\sigma^{2} \vert \nu_{0}, \beta_{0})\]

• 그리고 앞에서 다룬 베이즈 이론을 이용해 보겠습니다.

• \[p(\theta \vert y) = \frac{ p(y \vert \theta)p(\theta) }{ \int p(y \vert \theta)p(\theta) d\theta} \propto p(y \vert \theta)p(\theta)\]

• 베이즈 이론을 이용하면 prior와 likelihood의 곱은 posterior에 비례합니다. (분모는 확률의 값을 0과 1사이로 노말라이즈 해주는 역할 일 뿐입니다.)
• 그러면 앞에서 다룬 joint distribution인 \(p(y_{1}, \cdots, y_{n}, \mu, \sigma^{2})\) 또한 다음과 같이 prior와 likelihood의 나타나지게 됩니다. \(p(y_{1}, \cdots, y_{n} \vert \mu, \sigma^{2})p(\mu \vert \sigma^{2})p(\sigma^{2})\)
• 따라서 joint probability, prior와 likelihood의 곱을 posterior와의 비례식으로 표현하면 다음과 같이 정리할 수 있습니다.

• \[p(y_{1}, \cdots, y_{n}, \mu, \sigma^{2}) = p(y_{1}, \cdots, y_{n} \vert \mu, \sigma^{2})p(\mu \vert \sigma^{2})p(\sigma^{2}) \propto p(\mu, \sigma^{2} \vert y_{1}, \cdots y_{n})\]

• 지금까지 살펴본 식들을 보면 prior는 \(p(\theta )\)가 되고 posterior는 \(p(\theta \vert y)\)가 됩니다.
• 즉, 기존에 가지고 있는 데이터에 대한 확률을 확률적 모델을 이용하여 업데이트 한 것이 됩니다.
• 이 때, prior와 posterior의 확률 분포는 동일한 확률분포를 뛸까요? 그런 경우도 있고 그렇지 않은 경우도 있습니다.
• 만약 prior와 posterior의 확률 분포가 같은 확률 분포족에 속한다면conjugate distribution 이라 하고 이 때의 prior를 conjugate prior 라고 합니다.
• 특히 몇몇 분포들은 closed form 형태로 conjugate distribution을 띄기 때문에 마치 점화식 형태로 표현 가능합니다.
• 하지만 많은 분포들은 Non-conjugate 관계를 가집니다. None-conjugate 관계를 가지면 어떻게 표현되는 지 알아보겠습니다.

Non-conjugate models

• 그러면 깔끔하게 conjugate distribution 형태를 가지지 않는 non-conjugate model을 살펴보겠습니다.
• 예를 들어 다음과 같습니다.

• \[y_{i} \vert \mu \ \sim \ N(\mu, 1)\]
• \[\mu \ ~ \ \frac{1}{\pi(1 + \mu^{2})}\]

• 위 식과 같은 계층 형식이 있다고 하면 posterior를 다음과 같이 적을 수 있습니다.
• 첫번째 식에서 \(y_{i} \vert \mu\)는 표준 정규 분포를 따른다고 하고 \(\mu\)는 두번째 식의 분포에 의해 샘플링 된다고 가정하겠습니다.

• \[p(\mu \vert y_{1}, \cdots , y_{n}) \ \propto \ \prod_{i=1}^{n} \Biggl( \frac{1}{\sqrt{2\pi}}\text{exp}(-\frac{1}{2}(y_{i} - \mu)^{2}) \Biggr)\frac{1}{\pi(1 + \mu^{2})} \\ \propto \text{exp}\Biggl( -\frac{1}{2} \sum_{i=1}^{n} (y_{i} - \mu)^{2} \Biggr) \frac{1}{\pi(1 + \mu^{2})} \\ \propto \text{exp} \Biggl( -\frac{1}{2}\Biggl( \sum_{i=1}^{n}y_{i}^{2} - 2\mu\sum_{i=1}^{n}y_{i} + n\mu^{2} \Biggr)\Biggr)\frac{1}{\pi(1 + \mu^{2})} \\ \propto \frac{\text{exp}\Biggl(n(\bar{y}\mu - \frac{\mu^{2}}{2}) \Biggr)}{1 + \mu^{2}}\]

• posterior는 위 식처럼 전개할 수 있습니다. 위 식의 결과는 prior와 상당히 다른 형태입니다. 즉, non-conjugate model의 예시가 됩니다.

• 심지어 파라미터의 갯수가 많아지고 prior와 likelihood의 식이 복잡해질수록 posterior는 non-conjugate가 되는 경향이 커지고 심지어 계산하기 어려울 정도로 식이 복잡해 지기도 합니다.
• 경우에 따라서는 식으로 나타나 지기도 어려운 경우가 생기기도 합니다.
• 이런 문제를 계산 하는 방법에 대하여 앞으로 다루어 보도록 하겠습니다.

• 여기 까지 개념을 정리하기 위해 다음 문제들을 한번 풀어보시길 권장합니다.

Monte Carlo integration

• 복잡한 posterior distribution을 시뮬레이션 하기 위해서 Monte Carlo estimation에 대하여 배워보도록 하겠습니다.
• Monte Carlo estimation은 확률 분포로 부터 도출한 시뮬레이션 방법입니다. 이 방법을 통하여 어떤 분포의 의미있는 값들을 (평균, 분산, 어떤 사건의 확률값등) 계산할 수 있습니다.
• 확률 값들을 계산하기 위해서 대부분 적분의 과정이 필요한 데, 쉬운 적분 방법이 있는 경우가 아니라면 계산이 매우 어렵거나 직접 계산하는 것이 불가능한 경우들이 있습니다.
• 예를 들어 다음과 같은 확률 변수 \(theta\)가 있다고 가정해 보겠습니다.

• \[\theta \ \sim \ \text{Gamma}(a, b)\]
• \[E(\theta) = \int_{0}^{\infty} \theta p(\theta) d\theta = \int_{0}^{\infty} \frac{b^{a}}{\Gamma(a)}\theta^{a-1}e^{-b\theta}d\theta = \frac{a}{b}\]

• 확률 변수 \(\theta\)는 감마 분포를 따른다고 하면 평균 값은 위 식과 같이 적분의 형태를 통한 기대값으로 나타낼 수 있고 알려진 대로 a/b로 정리할 수 있습니다.
• 사실 위 식을 직접 계산하려면 상당히 어려운데 어떻게 간단하게 a/b로 정리할 수 있을까요?

• \[\theta^{*}_{i} \ \ i = 1, \cdots m\]

• 여기서 \(\theta^{*}_{i}\)를 샘플링한 특정 확률 변수라고 두고 아주 큰 수 \(m\) 까지 샘플링 한다고 해보겠습니다.

• \[\bar{\theta}^{*} = \frac{1}{m} \sum_{i = 1}^{m} \theta_{i}^{*}\]

• 아주 많은 갯수의 샘플링된 확률 변수를 사용하였기 때문에 큰 수의 법칙에 따라 \(\bar{\theta}^{*}\)는 정규분포를 따르고 이 표본 정규분포의 평균은 실제 평균 값 을 가집니다.
• 또한 샘플링된 확률 변수를 사용하여 구한 분산은 실제 분산을 \(m\)으로 나눈 값이 됩니다.

• \[\text{var}(\theta) = \int_{0}^{\infty}(\theta - E(\theta))^{2} p(\theta) d\theta\]

• 이론적으로 구한 분산이 위와 같으니 표본의 확률 변수에 대한 분산은 \(\text{var}(\theta) / m\)이 됩니다.
• Monte Carlo estimation을 통한 평균 계산을 정리하면 다음과 같습니다.

• \[\int h(\theta)p(\theta)d\theta = E[h(\theta)] \approx \frac{1}{m}\sum_{i=1}^{m}h(\theta_{i}^{*})\]

• 그러면 위 정의를 이용하여 다음 예제를 풀어보겠습니다. \(I_{A}(\theta)\) 함수는 확률 변수 \(\theta\)가 조건 \(A\)를 만족하면 1을 반환하는 함수입니다.

• \[h(\theta) = I_{\theta < 5}(\theta)\]
• \[E(h(\theta)) = \int_{0}^{\infty} I_{\theta < 5}(\theta) p(\theta) d\theta = \int_{0}^{5} 1 \cdot p(\theta) d\theta + \int_{5}^{\infty} 0 \cdot p(\theta) d\theta = \text{Pr}[0 \gt \theta \gt 5] \approx \frac{1}{m} \sum_{i=1}^{m} I_{\theta^{*} < 5}(\theta_{i}^{*})\]

• 위 식의 마지막 항을 보면 얼마나 많은 \(\theta^{*}\)가 조건을 충족하는 지에 대한 평균을 내는 것이고 샘플링 횟수가 많아질수록 적분 형태의 이론적인 평균과 유사해짐을 나타냅니다.

Monte Carlo error and marginalization

• Monte Carlo 샘플링은 얼마나 좋은 방법일까요? 중심 극한 이론에 따르면 variance는 결국 샘플링한 사이즈 m에 영향을 받게 됩니다. 따라서 더 나은 예측을 하기 위해서는 m의 크기를 더 크게 잡는 것이 중요합니다.
• 예를 들어 \(\theta\)가 확률 변수이고 확률 변수의 표본을 \(\theta^{*}\) 라고 한다면 표본 평균을 \(\bar{\theta^{*}}\) 라 하고 표본 평균은 아래 식과 같은 분포를 따릅니다.

• \[\bar{\theta^{*}} \ \sim \ N(E(\theta) , \frac{var(\theta)}{m}\]

• 이 때, 표본 분산은 다음 식을 따릅니다.

• \[\bar{var(\theta)} = \frac{1}{m} \sum_{i=1}^{m} (\theta_{i}^{*} - \bar{\theta}^{*})^{2}\]

• 위 식에서 원래 m-1로 나누어야 합니다. (표본분산의 평균이 모분산과 같아지게 하기 위해서입니다.)
• 지금 다루는 m은 굉장히 큰 수라고 가정하기 때문에 m-1과 m으로 나눌 때의 큰 차이가 없으므로 편의상 m 이라고 사용하겠습니다.
• 이 때, Monte Carlo에서 다루는 standard error는 다음과 같습니다.

• \[\sqrt{\frac{\bar{var(\theta)}}{m} }\]

• 표본 분산을 표본의 크기로 나눈 다음에 다시 루트를 취해주는 형태입니다. 간단히 말해서 분산이란 얼마나 평균에서 떨어져 있는 지를 나타내므로 불확실성에 영향을 주는데 위 식에서 표본의 크기로 나누기 때문에 표본의 크기가 무한히 커진다면 standard error는 0에 수렴하게 됩니다.

• 이번에는 marginalization에 대하여 살펴보기 위해 다음 식을 예제로 살펴보겠습니다.

• \[y \vert \phi \ \sim \ \text{Bin}(10, \phi)\]
• \[\phi \ \sim \ \text{Beta}(2, 2)\]
• 위 분포를 이용하여 joint distribution을 만들면 다음과 같습니다.

• \[p(y, \phi) = p(\phi)p(\y \vert \phi)\]

• 그러면 Monte Carlo를 Simulation 하기 위한 절차는 다음과 같습니다.
• ① : Beta 분포로 부터 \(\theta_{i}^{*}\)를 샘플링 합니다.
• ② : 샘플링 한 \(\theta_{i}^{*}\)가 주어졌을 때, \(y_{i}^{*}\)를 \(y_{i}^{*} \ \sim \ \text{Bin}(10, \phi_{i}^{*})\)에서 도출합니다.
• ③ : ①, ② 과정을 통하여 \((y_{i}^{*}, \phi_{i}^{*})\)의 쌍을 만들 수 있습니다.
• Monte Carlo Simulation의 가장 큰 장점 중 하나는 malginalization이 상당히 쉽다는 것입니다.
• 만약 \(y\)에 대한 malginal distribution을 직접 구한다면 계산이 상당히 복잡해 질 수 있습니다. 즉, \(phi\)에 대하여 적분이 필요한데 적분 계산 자체가 어렵기 때문입니다.
• 만약 joint distribution을 통하여 바로 샘플을 도출할 수 있다면 \(\phi_{i}^{*}\)를 이용한 계산을 하지 않아도 되고 \(y_{i]^{*}\)를 marginal distribution을 통하여 얻은 샘플로 바로 사용할 수 있습니다. (앞에서 다룬 prior predictive distribution 내용 입니다.)
• 그러면 이 성질을 이용해서 posterior distribution에 대한 근사 추정을 해보도록 하겠습니다.

Computing examples

• 앞에서 배운 내용에 대해 정리하면서 Python을 이용하여 예제들을 한번 풀어보도록 하겠습니다.

• 통계학 관련 글 목록