확률변수의 수렴과 큰 수의 법칙 (Sampling, Convergence, Law of Large Numbers)

 

 

Textbook

Sampling Distributions (표본 분포)

같은 분포에서 독립적으로 추출한 확률변수 $X_1,\dots ,X_n$ (i.i.d)에 대하여 새로운 확률변수 $Y$를 도입하자. 

이때 어떤 함수 $h$(예를 들어, $h$는 평균이나 분산과 같은 함수가 가능하다.)의 형태일 수 있다.

$$Y=h(X_1,\dots ,X_n)$$

이때 $Y$의 분포를 sampling distribution(표본 분포)라고 부른다.

 

확률변수 $Y$는 $n$에 의존적이므로 우리는 확률변수로 이루어진 수열을 생각해볼 수 있다. 즉 $Y_1,Y_2,\dots ,Y_n,\dots$ 말이다. 우리는 $n$이 커짐에 따라 $Y_n$이 $Y$로 수렴하기를 바란다. 

 

4.5에서 배울 내용인 몬테카를로 시뮬레이션을 통해 $Y$의 분포를 살펴볼 수 있다. 그러나 컴퓨터의 도움이 필요하다.

 

Convergence in Probability (확률 수렴)

확률변수 $X_n$이 $Y$로 수렴하는지 어떻게 판단할 수 있을까?

수열과 다르게 확률변수는 그 자체로 randomness가 존재하기 때문에 단순히 계산하기 어려워 보인다.

가장 기초적인 방법은 $X_n$과 $Y$의 차가 매우 작아서 그 확률이 $0$이 되면 수렴한다고 생각할 수 있을 것이다.

Convergence in probability, 확률 수렴

무한한 확률변수의 수열 $X_1,\dots$, 또다른 확률변수 $Y$, 어떤 양수 $ϵ>0$에 대하여 $\underset{n\to \mathrm{\infty }}{lim}P(|X_n-Y|\ge ϵ)=0$ 을 만족하면, $\{X_n\}$이 $Y$로 수렴한다고 하고, $X_n\stackrel{P}{\to }Y$로 표기한다.

Note: 책에 따라 부등호의 방향이 반대로 하여 $\underset{n\to \mathrm{\infty }}{lim}P(|X_n-Y|<ϵ)=1$ 로 표기할 수 있다.

$X_n-Y$의 값을 나타낸 그래프

Example 1

$U\sim Uniform[0,1]$이고 $X_n$의 값이 $U\le \frac{2}{3}-\frac{1}{n}$이면 $3$, 그 외는 $8$이라 하자.

그리고 $Y$는 $U\le \frac{2}{3}$이면 $3$이고 그 외는 $8$이라 하자. 이때 확률을 계산하면

$P(|X_n-Y|\ge ϵ)\ge P(X_n\ne Y)=P(\frac{2}{3}-\frac{1}{n}<U\le \frac{2}{3})=\frac{1}{n}$이고 $n\to \mathrm{\infty }$이면 $\frac{1}{n}\to 0$이므로 $X_n\stackrel{P}{\to }Y$ 이다.

 

Example 2

$Z_n\sim Exp(n)$이고 $Y=0$이라 하자. 이때 확률을 계산하면

$P(|Z_n-Y|\ge ϵ)=P(Z_n\ge ϵ)={\int }_{ϵ}^{\mathrm{\infty }}n{e}^{-nx}dx=e^{-nϵ}$

$n\to \mathrm{\infty }$이면 $0$으로 수렴한다. 따라서 $Z_n\stackrel{P}{\to }Y$ 이다.

 

The Weak Law of Large Numbers (WLLN) (큰 수의 약한 법칙)

위의 convergence in probability를 이용하여 표본평균과 표본분산에 대한 정보를 얻을 수 있다.

이를 큰 수의 약한 법칙이라고 부른다.

The Weak Law of Large Numbers (WLLN), 큰 수의 약한 법칙

서로 상관관계가 없는(uncorrelated) 무한한 확률변수의 수열 $X_1,\dots$이 같은 평균 $\mu$와 분산 ${\sigma }^2$를 갖는다고 하자.(단, $\sigma$의 상한은 $v$이고 $v<\mathrm{\infty }$). 이때
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
는 $\mu$로 확률수렴한다. 즉 $\overline{X}\stackrel{P}{\to }\mu$ 이다.

$X_i$는 independent 조건이 아니라 uncorrelated 조건이다.

Proof

$E(X_i)=\mu$이고, linearity of expected value를 이용하여 $E(\bar{X})=\frac{1}{n}(n\mu )=\mu$ 이다.

$V(\bar{X})=\frac{1}{n^2}(V(X_1)+\cdots +V(X_n))=\frac{{\sigma }^2}{n}$ (단, $Cov(X_i,X_j)=0)$

체비셰프 부등식을 이용하면

$E(|\bar{X}-\mu |>ϵ)\le \frac{V(\bar{X})}{{ϵ}^2}=\frac{{\sigma }^2}{n{ϵ}^2}\to 0$

 

Almost Sure Convergence (거의 확실한 수렴)

Almost Sure Convergence, 거의 확실한 수렴

무한 수열 $X_1,X_2,\dots ,$에 대하여 $P(\underset{n\to \mathrm{\infty }}{lim}{X}_n=X)=1$이면 $\{X_i\}$가 거의 확실하게 수렴한다고 하고 $X_n\stackrel{a.s.}{\to }X$라고 표기한다. 

Almost Sure Convergence는 Convergence in probability를 포함한다. 즉
$$X_n\stackrel{a.s.}{\to }Y\Rightarrow X_n\stackrel{P}{\to }X$$

Note: Convergence with Probability 1라고도 하여 $X_n\stackrel{w.p.1}{\to }X$로 표기하기도 한다.

 

Figure of Almost Sure Convergence

The Law of Large Numbers (LLN) (큰 수의 법칙)

거의 확실한 수렴을 통해 큰 수의 약한 법칙을 더 강한 조건을 만족시킬 수 있다.

그 법칙을 큰 수의 법칙이라 한다.

The (Strong) Law of Large Numbers (LLN), 큰 수의 법칙

$X_1,X_2,\dots ,$가 i.i.d.이고 각 확률변수의 기댓값이 $\mu$라 하자. 이 때
$$P(\underset{n\to \mathrm{\infty }}{lim}\bar{X}=\mu )=1$$

$\bar{X}\stackrel{a.s.}{\to }\mu$ 이다.

큰 수의 법칙은 몬테카를로 시뮬레이션의 기반이 된다.

 

Monte Carlo Approximation (1) Compute $\pi /4$

사분원의 넓이

$U,V\sim Uniform[0,1]$ 에 대하여 $X=1(U^2+V^2\le 1),X=0(\text{otherwise})$라 하자.

$E(X)=P(U^2+V^2\le 1)=\frac{\pi }{4}$임을 이용한다.

위 과정을 많이 반복하여 $\bar{X}$을 구한다.

LLN에 의하여 $\bar{X}\stackrel{a.s.}{\to }\frac{\pi }{4}$가 된다.

Convergence in Distribution (분포 수렴)

Convergence in Distribution, 분포수렴

확률변수 $X_1,X_2,\dots$에 대하여 ${\displaystyle \underset{n\to \mathrm{\infty }}{lim}P(X_n\le x)=P(X\le x)}$이면  분포 수렴한다고 하고 $X_n\stackrel{D}{\to }X$로 표기한다.

Example 3

$X_n\sim Binomial(n,\frac{\lambda }{n}$이고 $X\sim Poisson(\lambda )$일 때 $X_n$이 $X$로 수렴하는지 확인해보자.

$$P(X_n=i)={\displaystyle (\genfrac{}{}{0ex}{}{n}{i})}(\frac{\lambda }{n}{)}^i(1-\frac{\lambda }{n}{)}^{n-i}\to e^{-\lambda }\frac{{\lambda }^i}{i!}$$

따라서 $F_{X_n}(x)\to F_X(x)$이다.

Summary

Convergence in probability: $P(|X_n-X|>ϵ)\to 0⟺X_n\stackrel{P}{\to }X$

Almost Sure Convergence: $P({\displaystyle \underset{n\to \mathrm{\infty }}{lim}{X}_n=X)=1⟺X_n\stackrel{a.s.}{\to }X}$

Convergence in distribution: $F_{X_n}(x)\to F_X(x)⟺X_n\stackrel{D}{\to }X$ (단 $F$는 CDF)