(베이즈 통계학 기초) 명쾌하고 엄밀하지만 쓸 데가 한정된 네이만-피어슨 식 추정

출처 : 세상에서 가장 쉬운 베이즈 통계학 입문
앞 글들에서 다루왔던 문제를 다시 짚어보겠습니다.
상자 A, B가 있습니다.
- 상자 A는 흰공 9개, 검은 공 1개가 있습니다.
- 상자 B는 흰공 2개, 검은 공 8개가 있습니다.
상자에서 공을 한 개 꺼냈더니 검은 공이었습니다. 어느 상자에어 꺼냈을까요?

사실1 : 상자 A 혹은 B
사실2 : A라면 대체로 흰 공
사실3 : B라면 대체로 검은 공
사실4 : 검은 공(흰 공이 아니다)

위 사실들을 이용한 추정에서 대체로라는 말이 들어가 있기 때문에 논리적 추론을 쓸 수는 없습니다.
여기서 한 가지 판단을 추가하면 논리적 추론을 쓸 수 있습니다.
- 대체로 라는 확률적 수치가 일정 기준만 만족한다면 잘못된 판단을 할 리스크는 각오한다는 판단입니다.
예를 들어 10%의 확률로 잘못된 결론을 내리는 것은 어쩔 수 없으니 눈감아 주는것으로 판단을 했다고 하면, 다음과 같은 추론을 할 수 있습니다.
- 상자 A라고 가정하면, 사실2에서 흰공이라고 결론을 지을 수 있습니다. 이 때, 결론이 잘못되었을 확률은 10% 입니다.
  - 상자 A에서 꺼낸 공이 검정색일 확률이 0.1이기 때문입니다.
불과 10%나마 틀릴 가능성이 있는 이 결론 흰 공이다와 사실4를 합하면 모순이 발생합니다.
따라서 가정에 있는 A가 부정되고 A가 아니다 라는 결론이 도출됩니다.
- 통계학에서는 가설 A는 기각된다 라고 말합니다.
위 방법이 표준통계학의 추정논리입니다.
포인트가 되는 부분은 대체로를 의미하는 확률 10%를 판단을 그르칠 리스크로서 받아들였다는 사실입니다.
즉, 기각을 통해 결정을 내린 상자 B에서 꺼냈다라는 판단은 맞는지 틀린지는 알 수 없지만 이 방법으로 추정해 나가면 10%의 작은 확률이기는 하나 잘못된 결론을 내리게 됩니다.
- 즉, 상자 A임에도 B라고 결론을 짓게 됩니다.

가설검정의 프로세스

관측되면 안되는 가설이 관측되었다면 가설이 잘못되었다는 이론에 기반한 검정 프로세스
위에서 설명한 확률적 추론 방법은 표준 통계학의 가설검정 방법에 해당합니다.
가설검정의 방법
- 1단계 : 검정하려는 가설 A를 세웁니다. 이 가설 A를 귀무가설이라고 합니다.
- 2단계 : A가 아닌 경우에 결론지을 B를 준비합니다. 이 가설 B를 대립가설이라고 합니다.
- 3단계 : A가 옳다는 가정하에, 작은 확률 \(\alpha\)로 밖에 관측되지 않는 현상 X를 생각합니다.
- 4단계 : 현상 X가 관측되었는가를 확인합니다.
- 5단계 : 현상 X가 관측된 경우 귀무가설 A가 틀렸다고 판단하여 귀무가설 A를 기각하고 대립가설 B를 채택합니다.
- 6단계 : 현상 X가 관측되지 않은 경우에는 귀무가설 A를 기각할 수 없으며 귀무가설 A를 채택합니다.
요약하면 A라는 것이 옳다고 가정하고 \(\alpha\)라는 낮은 확률로 밖에 일어나지 않는 현상이 실제로 관측되었다면, A는 잘못된 것이라고 판단하여 A를 기각 합니다.
- 만약 관측되지 않았을 때는 버릴 이유가 없으므로 유지합니다.
즉, 내가 세운 가설 A와 대립되는 가설 B를 세우고 A가 일어나지 않을 현상 X가 관측되는 지 보는 방법 입니다.(관측되면 안되는 가설이 관측되었다면 가설이 잘못되었다)
귀무가설 A를 기각할 것인가의 기준이 되는 확률 \(\alpha\)는 유의수준이라고 합니다.
- 이 때, \(\alpha\)의 확률로 일어나는 현상이 관측되면 가설을 버리게 되므로 올바른 가설 A를 잘못하여 버릴확률이 됩니다.
- 즉, \(\alpha\)의 확률로 판단을 잘못하게 됩니다.

앞의 상자 예제에 대입해 보겠습니다.
귀무가설은 상자 A다. 입니다. 따라서 대립가설은 상자 B다. 입니다.
유의 수준을 0.15로 설정하겠습니다.
실제 상자 A의 비율을 따져보면 검은 공이 나올 확률은 0.1이 되고 이것은 유의 수준보다 더 타이트한 값에 해당합니다.
따라서 유의 수준에 해당하는 확률만큼 A 상자에서 검은 공이 나올 확률이 관측 되므로 귀무가설을 기각합니다.
- 즉 대립가설이 채택됩니다.

가설검정은 상당히 논리적이지만 문제가 있습니다.
- 먼저 유의수준 \(\alpha\)를 정하는 것에 대한 과학적 근거는 없습니다.
- 관례적으로 0.005, 0.01 정도를 사용합니다.