정규분포와 관련된 이론: 카이제곱분포, 표본분산, t-분포, F-분포 (Normal Distribution Theory: Chi-squared distribution, sample variance, t-distribution, F-distribution)

반응형

 

Textbook

Normal Distribution Theory

정규분포를 따르는 2개의 확률변수의 합은 정규분포임을 알 수 있었다.

이제 이를 확장해서 $n$개의 확률변수의 합도 정규분포를 따르는지 알아보자.

$n$개의 확률변수 $X_i\sim N({\mu }_i,{\sigma }_i^2)$의 합을 $Y=(\sum _i{a}_i{X}_i)+b$라 하면
$$Y\sim ((\sum _i{a}_i{\mu }_i)+b,\sum _i{a}_i^2{\sigma }_i^2))$$

Proof

mgf를 이용하여 증명한다.

확률변수의 합의 mgf는 각 확률변수의 mgf의 곱과 같으므로

$M_Y(t)={\mathrm{\Pi }}_i{M}_{X_i}(t)=e^{bt}\cdot \text{exp}[\sum _i(a_i{\mu }_i)t+{\mathrm{\Pi }}_i(a_i{\sigma }_i{)}^2{t}^2]=\text{exp}[(\sum _i(a_i{\mu }_i)+b)t+\frac{1}{2}({\mathrm{\Pi }}_i(a_i{\sigma }_i{)}^2)t^2]$

 

Zero covariance is equivalent to independence

$$\sum _{i=1}^n{a}_i{X}_i\perp \perp \sum _{i=1}^n{b}_i{X}_i\iff \sum _{i=1}^n{a}_i{b}_i{\sigma }_i^2=0$$

Proof

$\mathbf{X}=[X_1,\cdots ,X_n{]}^{\mathrm{\top }},\mathbf{a}=[a_1,\cdots ,a_n{]}^{\mathrm{\top }},\mathbf{b}=[b_1,\cdots ,b_n{]}^{\mathrm{\top }}$ 이라 하고

새로운 확률변수 $V,W$를 다음과 같이 정의하자.

$V=\sum _i{a}_i{X}_i={\mathbf{a}}^{\mathrm{\top }}\mathbf{X}$

$W=\sum _i{b}_i{X}_i={\mathbf{b}}^{\mathrm{\top }}\mathbf{X}$

한편, 공분산은

$Cov(V,W)={\mathbf{a}}^{\mathrm{\top }}\mathbf{b}{\sigma }^2$

두 벡터 V, W가 독립이면

$V\perp \perp W\text{iif}{\mathbf{a}}^{\mathrm{\top }}\mathbf{b}=0$

 

이는 ($X$가 정규분포의 확률변수일 때) orthogonality가 statistical independence를 의미한다. 

 

The Chi-squared Distribution

$X_1,\dots ,X_n$이 $N(0,1)$의 i.i.d라 할 때 $Y=\sum _{i=1}^n{X}_i^2$이라 하면
$$Y=\sum _{i=1}^n{X}_i^2\sim {\chi }^2(n)=\mathrm{\Gamma }(\frac{n}{2},\frac{1}{2})$$
이다. 이 때 $n$은 카이제곱분포의 자유도(degrees of freedom)이라 한다.

카이제곱분포의 기댓값과 분산

$\mathrm{\Gamma }(\alpha ,\lambda )$의 기댓값과 분산이 각각 $\alpha /\lambda ,\alpha /{\lambda }^2$이므로

$E(Y)=(n/2)/(1/2)=n,V(Y)=(n/2)/(1/2{)}^2=2n$ 이다.

 

$n$이 충분히 크면 ${\chi }^2(n)\approx N(n,2n)$ 이다.

 

카이제곱분포의 합

독립인 두 확률변수 $U\sim \mathrm{\Gamma }(\alpha ,\lambda ),V\sim \mathrm{\Gamma }(\beta ,\lambda )$에 대하여

$U+V\sim \mathrm{\Gamma }(\alpha +\beta ,\lambda )$이므로

독립인 두 카이제곱분포의 확률변수의 합은 자유도의 합과 같다. 즉

$Y\sim {\chi }^2(n),Z\sim {\chi }^2(m)$이면 $Y+Z\sim {\chi }^2(n+m)$

 

표본평균과 표본분산

$X_1,\dots ,X_n$이 $N(\mu ,{\sigma }^2)$의 i.i.d라 할 때 표본평균과 표본분산을 각각 $\bar{X},S^2$이라 하고
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

그리고 아래 두가지를 만족한다.
$$\bar{X}\perp \perp S^2$$
$$(n-1)S^2/{\sigma }^2\sim {\chi }^2(n-1)$$

Why 

https://www2.stat.duke.edu/courses/Fall18/sta611.01/Lecture/lec12_mean_var_indep.pdf

https://trivia-starage.tistory.com/250

표본분산은 왜 n-1로 나눌까? (불편추정량, 자유도)

 

 

표본 분산

$$\begin{array}{rl}E[\sum _{i=1}^n(X_i-\bar{X}{)}^2]& =E[\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2]\\ & =nE(X_1^2)-nE(\bar{X})\\ & =n\{V(X_1)+E(X_1{)}^2\}-n\{V(\bar{X})+E(\bar{X})\}\\ & =n({\sigma }^2+{\mu }^2)-n(\frac{{\sigma }^2}{n}+{\mu }^2)\\ & =(n-1){\sigma }^2\end{array}$$

따라서 $E(S^2)=E[\frac{1}{n-1}\sum _i(X_i-\bar{X}{)}^2]={\sigma }^2$ 이다. 

 

Chapter 5에 나오지만, 위 성질 때문에 $S^2$은 (분포와 상관없이) ${\sigma }^2$의 불편추정량(unbiased estimator)이다.

The $t$ Distribution

$Z\sim N(0,1)$이고 $W\sim {\chi }^2(n)$이고 $Z\perp \perp W$ 라고 하자. 그러면
$$T=\frac{Z}{\sqrt{W/n}}\sim t(n)$$
이다. 

Note: 독립 조건이 필요하다.

자유도가 1과 30인 $t$분포

 

Example 

i.i.d인 $X_1,X_2,X_3\sim N(\mu ,{\sigma }^2)$에 대하여 $Z=\frac{X_1-\mu }{\sigma }$, $W={\left(\frac{X_2-\mu }{\sigma }\right)}^2+{\left(\frac{X_3-\mu }{\sigma }\right)}^2$라 하자.

그러면 $T=\frac{Z}{W/2}\sim t(2)$이다.

 

표본평균과 $t$ 분포

i.i.d인 $X_1,\dots ,X_n\sim N(\mu ,{\sigma }^2)$라 하자. 그러면

$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$이고

$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$이고 이 둘은 독립이다. (위 내용 참고)

따라서 $T$를 다음과 같이 정의할 수 있다.

$T=\frac{\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}}{\sqrt{\frac{(n-1)S^2}{{\sigma }^2}/(n-1)}}=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$ 이다.

 

$t$분포의 표준정규분포 근사

$n$이 충분히 크면 $t(n)\sim Z(0,1)$이다.

 

The $F$ Distribution

두 카이제곱 확률변수 $W\sim {\chi }^2(m)$과 $V\sim {\chi }^2(n)$이고 $W\perp \perp V$ 이라 하면
$$Y=\frac{W/m}{V/n}\sim F(m,n)$$
이다.

$F$분포의 그래프

$t$분포와 $F$분포

만약 $X\sim t(n)$이라면 $X^2\sim F(1,n)$ 이다.

 

proof

$t^2={\left(\frac{Z}{\sqrt{W/df}}\right)}^2=\frac{{\chi }^2(1)/1}{W/df}\stackrel{D}{=}F(1,n)$