적합도 검정, 독립성 검정 (Goodness of Fit Test, Independence Test)

Goodness of Fit Test and Independence Test with Contingency Tables

1. One-way Classifications (모형 적합도 검정)

$k$개의 범주에 대하여 각 범주의 확률을 $p_i$ ($i=1,2,\dots, k$)라 하자.

$k$개의 범주의 관측값은 각각 $x_1, x_2, \dots, x_k$이고 $x_1 + \dots + x_k=n$이다.

이를 observed cell frequencies라 한다.

 

null hypothesis는

\[ H_0: p_i = p_i^* \quad (1 \le i \le k) \]

이고 검정통계량은 다음 중 하나를 이용한다. (대부분 카이제곱 이용)

\[ \chi^2 = \sum_{i=1}^{k} \frac{(x_i - e_i)^2}{e_i} \quad \text{ or } \quad G^2 = 2\sum_{i=1}^{k} x_i \ln \left( \frac{x_i}{e_i} \right) \]

이때 $e_i$는 expected cell frequency로 $e_i = np_i^* \quad (1 \le i \le k)$ 이다.

 

p-value는 다음과 같이 구한다.

\[ p\text{-value} = P(\chi^2_{k-1} \ge \chi^2) \quad \text{or} \quad p\text{-value} = P(\chi^2_{k-1} \ge G^2) \]

 

size $\alpha$에 대하여, null hypothesis는 $\chi^2 > \chi^2_{\alpha, k-1}$이면 (또는 $G^2 > \chi^2_{\alpha, k-1}$ 이면) reject한다.

 

※ $\chi^2$: Pearson chi-square statistic

※ $G^2$: Likelihood ratio chi-square statistic

※ $e_i$는 $5$보다는 작지 않아야 한다. 만약 $5$ 미만의 $e_i$ 값이 있다면, 인접한 $e_j$와 병합(merge)하여 새로운 항으로 대체한다.

 

Example: Testing Distributional Assumptions

$H_0$: 어떤 SW의 error느 평균이 $\lambda=3$인 포아송 분포를 따른다.

주어진 데이터는 다음과 같다.

# of errors in SW product dataset

$\lambda=3$인 포아송분포의 pmf는 $p(x) = e^{-3} \frac{3^x}{x!}$이므로 expected frequency를 구하면

$e_1 = np(0)=4.23$, $e_2=np(1)=12.70$, ... 이다.

이때 $X=0, 6, 7, 8$ 그리고 $9$이상의 경우 $e$ 값이 $5$보다 작으므로 $5$보다 크게 인접한 cell 끼리 합친다. 

Table after grouping

카이제곱값을 계산하면

\[ \chi^2 = \frac{(17.00-16.93)^2}{16.93} + \cdots + \frac{(3.00-7.14)^2}{7.14} = 5.12 \]

merged table에서 범주는 6개이므로 $k=6$이다. 따라서 degree of freedom은 $5$이므로

\[ p\text{-value} = P(\chi^2_5 \ge 5.12) = 0.40 \]

p-value가 상당히 크므로, null hypothesis를 기각하지 않는다.

즉, 주어진 데이터는 $\lambda=3$인 포아송분포를 따른다고 할 수 있다. (plausible)

 

※ 더 일반적인 방법은 다음과 같다. $\lambda=\bar{x}=2.76$이고 자유도가 $k-1-1=4$인 카이제곱분포에서 p-value를 계산한다.

 

 

2. Two-way Classifications (독립성 검정)

2개의 카테고리에 대하여 독립성을 검정할 것이다. (Testing for Independence)

 

 

예를 들어, Type of Drug에는 A, B, C 3개의 drug level이 있고, Reaction에는 Hyperallergic, Allergic, Mildly allergic, No allergy 이렇게 4개의 level이 있다고 하자.

Drug allergies dataset

이때, 약물(drug)과 반응(reaction) 간의 독립성 검정의 귀무가설은 "세 약물 각각에 대해 다양한 종류의 알러지 반응이 발생할 가능성이 동일하다"로 해석할 수 있다.

Testing for independence

Pearson chi-square statistic ($\chi^2$)과 likelihood ratio chi-square statistic ($G^2$)은 다음과 같이 정의한다.

\[ \chi^2 = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(x_{ij} - e_{ij})^2}{e_{ij}} \quad \text{or} \quad G^2 = 2\sum_{i=1}^{r} \sum_{j=1}^{c} x_{ij}  \ln \left( \frac{x_{ij}}{e_{ij}} \right) \]

 

이때 expected frequency는 $e_{ij} = \cfrac{x_{(i, \cdot)} x_{(\cdot, j)}}{n}$로 계산한다.

자유도 degree of freedom은 $\nu = (r-1) \times (c-1)$이다.

p-value는 다음과 같이 계산한다.

\[ p\text{-value} = P(\chi^2_v \ge \chi^2) \quad \text{or} \quad p-\text{-value}(\chi^2_v \ge G^2) \]

 

size $\alpha$에서 $\chi^2 > \chi^2_{\alpha, v}$이면 $H_0$을 reject한다.

chi-square statistic calculation for drug allergies dataset

Drug-Allergy 예제에서 $\chi^2=6.391$이고 $v=(3-1)\times (4-1)=6$이므로 p-value는 $P(\chi^2_6 \ge 6.391) \approxeq 0.38$

p-value가 크기 때문에 null hypothesis를 기각하지 않는다. (do not reject null hypothesis)

따라서 약물에 따른 알러지 반응은 독립적이다.