[확률] 베이즈 정리 (Bayes' theorem)

 

베이즈 정리에 필요한 notation을 먼저 정리하고 가자.

 

결합 확률 (joint probability)

사건 $A$와 사건 $B$가 동시에(함께) 발생할 확률을 결합확률이라 하고 $P(A,B)$로 나타낸다.

고등학교 수학에서는 $P(A\cap B)$로 나타내기도 하며 정확히 $P(X=x,Y=y)$로 정확히 표기하기도 한다.

 

 

조건부확률 (conditional probability)

사건 $B$가 일어났을 때(이런 사실이 알려졌을 때) 사건 $A$가 발생할 확률을 조건부 확률이라 하고 $P(A|B)$로 나타낸다. 

 

 

확률의 곱셈정리 (multiplication theorem)

결합확률과 조건부확률은 아래와 같은 관계가 성립한다.

$$P(A,B)=P(A|B)P(B)$$

 

 

전체 확률의 법칙 (the law of total probability)

표본공간의 부분집합 $B$를 $n$개의 partition으로 나누고 각각의 partition을 $B_i$라 하자. (즉 $B_i\cap B_j=\varnothing$)

이 때 사건 $A$의 확률 $P(A)$는 다음과 같다.

$$P(A)=\sum _{n}P(A\cap B_n)=\sum _{n}P(A|B_n)P(B_n)$$

 

 

확률의 덧셈정리

사건 $A$와 사건 $B$ 중 적어도 한쪽이 일어나는 사건을 합사건(sum event)라고 하고, $A\cup B$로 나타낸다. 그리고 사건 $A$와 $B$가 모두 일어나는 사건을 곱사건(product event)라 하고 $A\cap B$로 나타낸다. 이때 합사건의 확률을 구하려면 아래의 덧셈정리를 만족한다.

$$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$

 

 

주변확률(marginal probability)와 확률의 주변화(marginalization)

결합확률에서 어떤 변수 하나에 대한 확률을 계산하는 방법이다. 주목하지 않는 변수를 주변화한다고 한다. $X$에 주목한다면 $X$가 아닌 변수들을 주변화하여 $P(X)$를 구한다.

$$P_X(x_i)=\sum _{j}p(x_i,y_j)\text{and}{P}_Y(y_j)=\sum _{i}p(x_i,y_j)$$

 

이를 다변수 확률분포로 일반화하여 $n$변수 중에서 $k$번째 확률만 구할 때 나머지 변수들을 주변화한다. 

이산적인 경우

$$p_{X_i}(k)=\sum p(x_1,x_2,\dots ,x_{i-1},k,x_{i+1},\dots ,x_n)$$

연속확률분포의 경우

$$f_{X_i}(x_i)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x_1,x_2,\dots ,x_n)d{x}_{1}d{x}_2\cdots d{x}_{i-1}d{x}_{i+1}\cdots d{x}_n$$

이다.

 

이렇게 다른 변수들을 주변화하여 얻은 확률 $P(X)$를 주변확률이라 한다.

 

 

베이즈 정리 (Bayes' theorem)

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}\text{,}P(B)\ne 0$$

이때 $P(A)$와 $P(B)$는 사전확률(prior probability) 혹은 주변확률(marginal probability)이라 부르고, $P(A|B)$는 사후확률(posterior probability), $P(B|A)$는 우도(likelihood)라고 한다.

우도(likelihood)라 하는 이유는 

 

해석하자면, 사건 $B$가 발생하기 전에 $P(A)$의 확률을 갖고 있었는데, 사건 $B$가 발생하여 이 정보를 반영하여 $P(A|B)$로 확률이 변한다. 그래서 사후확률이라고 부른다. (새로운 정보 $B$가 기존 $A$를 추론하는데 영향을 준다.)

 

일반적으로 베이즈 정리에서는 $A$, $B$ 대신에 $H$, $E$로 표기한다. 이는 각각 가설과 증거의 앞글자를 따온 것이다. 이러면 새로운 증거 $E$가 추가되었을 때, 나의 가설 $H$의 확률이 변할 것이다.

$$P(H|E)=P(H)\times \frac{P(E|H)}{P(E)}$$

 

Example1: Cancer rate

암 환자들이 100% 특정 공통 증상이 있다 하더라고, 그러한 증상이 있다 해서 항상 암인 것은 아니다. 

어떤 암이 발병률이 1/10만 이라 가정하고 10/99999 건강한 사람들이 같은 증상을 갖는다고 하자. 이때 위의 증상이 있을 경우 이 사람이 실제로 암환자일 확률은 얼마인가?

 

암(Cancer) 발생 확률과 증상(Symptoms) 확률을 각각 $P(C),P(S)$라 하자. 그러면

$P(S|C)=1,P(C)=\frac{1}{100000},P(S)=\frac{10}{99999}$ 을 바탕으로 $P(C|S)$를 구하는 문제가 된다.

따라서 $P(C|S)$를 구하면

$$P(C|S)=\frac{P(S|C)P(C)}{P(S)}$$

전체확률의 정리에 따라 $P(S)=P(S|C)P(C)+P(S|\mathrm{\neg }C)P(\mathrm{\neg }C)=(1\times \frac{1}{100,000})+(\frac{10}{99,999}\times \frac{99,999}{100,000})=\frac{11}{100,000}$

따라서 $P(C|S)=\frac{1\times \frac{1}{100,000}}{\frac{11}{100,000}}=\frac{1}{11}\approx 9.1\text{\%}$

(즉, 증상이 있는 사람들 중 90.9%는 양성이 아닌데(암이 아닌데) 양성 판정을 받을 것이다.)

 

 

베이즈 정리의 확장

$A$가 $n$개의 partition으로 나뉘어있다고 하자.($A_i\cap A_j=\varnothing$ 이고 $\bigcup A_i=1$) 이때 전체확률의 법칙에 따라 $P(B)=\sum _{j}P(B|A_j)P(A_j)$이므로 $i$번째 사건 $A_i$에 대해 적용하면

$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum _{j=1}^{n}P(B|A_j)P(A_j)}$$

$B$가 주어졌을 때, $A$의 partition 중에서 어떤 partition(예를 들어 $i$번째 partition인 $A_i$)의 확률을 구할 수 있다고 해석할 수 있다.

 

이를 이용하여 multi-class classification에서 유용하게 사용된다. 

 

Naive Bayes Classifier

$K$개의 클래스가 있고 $n$개의 서로 독립인 feature를 이용하여 클래스를 분류한다고 하자. 즉

$mathbfx=(x_1,\dots ,x_n)$ 가 $n$개의 독립인 feature를 갖는 instance라 하자. 이런 인스턴스 $\mathbf{x}$가 주어졌을 때 클래스 $k$일 확률은

$$p(C_k|\mathbf{x})=\frac{p(C_k)p(\mathbf{x}|C_k)}{p(\mathbf{x})}$$

어차피 분모의 값은 상수로 고정되어있으므로

$$p(C_k|x_1,\dots ,x_n)\propto p(C_k){\displaystyle \prod _{i=1}^{n}p(x_i|C_k)}$$

 

이를 이용하여 Classifier를 만들면

$$\hat{y}=\underset{k\in \{1,\dots ,K\}}{\mathrm{argmax}}p(C_k)\prod _{i=1}^{n}p(x_i|C_k)$$

 

확률분포에 따라(e.g. 정규분포, 베르누이 분포) $p(C_k)$를 이용하여 계산할 수 있다.

 

Example2: Person Classification

8명의 데이터가 있다고 하자.

Person	height (feet)	weight (lbs)	foot size (inches)
Male	6	180	12
Male	5.92	190	11
Male	5.58	170	12
Male	5.92	165	10
Female	5	100	6
Female	5.5	150	8
Female	5.42	130	7
Female	5.75	150	9

 

classifier는 Gaussian distribution을 따른다고 가정하자. 

Person	mean(height)	variance(height)	mean(weight)	variance(weight)	mean(foot size)	variance(foot size)
male	5.855	3.5033 × 10−2	176.25	1.2292 × 102	11.25	9.1667 × 10−1
female	5.4175	9.7225 × 10−2	132.5	5.5833 × 102	7.5	1.6667

 

 

이제 아래와 같은 instance가 주어졌을 때, 이 사람의 성별을 분류해보자.

Person	height (feet)	weight (lbs)	foot size (inches)
???	6	130	8

 

예를 들어

$$p(\text{height}|\text{male})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\text{exp}\left(\frac{-(6-\mu {)}^2}{2{\sigma }^2}\right)\approx 1.5789$$

를 계산할 때는 $\mu =5.855,{\sigma }^2=3.5033\times {10}^{-2}$를 대입한다.

계산 생략하고 결과만 보면

$P(\text{male})=6.1984\times {10}^{-9},P(\text{Female})=5.3778\times {10}^{-4}$이므로 Female일 확률이 가장 크다.