적률 생성 함수, Moment Generating Function (MGF)

 

 

 

Moment Generating Function, 적률생성함수, mgf, MGF

확률변수 $X$와 양수 $k$에 대하여, $k$번째 적률($k$-th moment of $X$)을 $E(X^k)$라고 한다.
이때 적률생성함수(모멘트 생성 함수)는 다음과 같이 정의한다.
$$m_X(t)=E(e^{tx})$$

임의의 확률변수 $X$와 그 mgf를 $m_X(t)(<\mathrm{\infty })$라 하자. mgf의 $k$계도 함수를 이용하여 $k$차 적률을 구할 수 있다. 즉
$$m_X^{(k)}(0)=E(X^k)$$
특히, $m_X^{\prime }(0)=E(X),m_X^{″}(0)=E(X^2)$이다.

$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots$ 에서

$e^{tx}=1+tx+\frac{(tx{)}^2}{2!}+\frac{(tx{)}^3}{3!}+\cdots$ 이므로

$E(e^{tx})=1+tE(X)+\frac{t^2}{2!}E(X^2)+\cdots$ 이다.

 

또한, 위 식을 연쇄적으로 미분하여 $t=0$을 대입하면 $k$차 적률 $E(X^k)$를 구할 수 있다.

 

$k$-th central moment, $E[(X-\mu {)}^k]$, $k$차 중심적률

1차 중심적률: $E(X-\mu )=0$
2차 중심적률: $E[(X-\mu {)}^2]={\sigma }^2$ (분산)
3차 중심적률: skewness (왜도). 대칭성 결핍도. $0$에 가까울 수록 symmetric하다.
4차 중심적률:  kurtosis (첨도). thickness of tail. 꼬리의 두꺼운 정도. 특이치(outlier)의 척도.

Note: 첨도라고 해서 정점이나 평탄한 것을 나타내는 말이 아니다.

 

(1) $X\sim Binomial(n,\theta )$

$\begin{array}{rl}E(e^{tx})& =\sum _{x=0}^n{e}^{tx}(\genfrac{}{}{0ex}{}{n}{x}){\theta }^x(1-\theta {)}^{n-x}\\ & =\sum _{x=0}^n(\genfrac{}{}{0ex}{}{n}{x})(\theta e^{tx}{)}^x(1-\theta {)}^{n-x}\\ & =(1-\theta +\theta e^t{)}^n\end{array}$

따라서 mgf는

$$m_X(t)=(1-\theta +\theta e^t{)}^n$$

$m_X^{\prime }(t)=n(1-\theta +theta{e}^t{)}^{n-1}\theta e^t$이므로

$E(X)=m_X^{\prime }(t)=n\theta$이다.

 

(2) $X\sim Poisson(\lambda )$

$\begin{array}{rl}E(e^{tx})& =\sum _{x=0}^{\mathrm{\infty }}{e}^{tx}\cdot \frac{{\lambda }^x{e}^{-\lambda }}{x!}\\ & =\sum _{x=0}^{\mathrm{\infty }}\frac{(\lambda e^t{)}^x{e}^{-\lambda }}{x!}\\ & =\sum _{x=0}^{\mathrm{\infty }}\frac{(\lambda e^t{)}^x{e}^{-(\lambda e^t)}}{x!}\cdot e^{-\lambda }\cdot e^{\lambda e^t}\\ & =e^{\lambda e^t-\lambda }\end{array}$

따라서 포아송분포의 mgf는

$$m_X(t)=e^{\lambda (e^t-1)}$$

 

(3) $X\sim Exp(\lambda )$

$\begin{array}{rl}E(e^{tx})& ={\int }_0^{\mathrm{\infty }}{e}^{tx}\cdot \lambda e^{\lambda x}dx\\ & ={\int }_0^{\mathrm{\infty }}\lambda e^{-(\lambda -t)x}\cdot (\lambda -t)\cdot \frac{1}{\lambda -t}dt\\ & =\frac{\lambda }{\lambda -t}\end{array}$

따라서 mgf는

$$m_X(t)=\frac{\lambda }{\lambda -t}$$

단, $\lambda -t>0$이므로 $t$의 범위는 $(-\mathrm{\infty }<t<\lambda )$이다.

 

(4) $X\sim N(0,1)$

$\begin{array}{rl}E(e^{tx})& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{x}^2}dx\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}(x^2-2tx+1)}dx\cdot e^{\frac{1}{2}{t}^2}\\ & =e^{\frac{1}{2}{t}^2}\end{array}$

따라서 mgf는

$$m_X(t)=e^{\frac{1}{2}{t}^2}(-\mathrm{\infty }<t<\mathrm{\infty })$$

 

두 확률변수 $X$, $Y$에 대하여 다음이 성립한다.

(1) Linearity
$Y=aX+b$라면 $m_Y(t)=E(e^{atX+tb})=e^{tb}{m}_X(at)$

(2) Independence
$X,Y$가 독립이라면 $m_{X+Y}(t)=m_X(t)m_Y(t)$이다.

(5) $X\sim N(\mu ,{\sigma }^2)$

$Y=\sigma X+\mu$이고 $X\sim N(0,1)$이라 하자. 이때

$$m_Y(t)=e^{\mu t}\cdot e^{\frac{1}{2}({\sigma }^2{t}^2)}=\text{exp}[\mu t+\frac{1}{2}{\sigma }^2{t}^2]$$

 

Example

$m(t)=e^{3t+t^2}$이면, $X\sim N(3,{\sqrt{2}}^2)$

 

Example sum of independent normal is normal

서로 독립인 두 확률변수 $X_1,X_2$가 각각 $X_1\sim N({\mu }_1,{\sigma }_1^2)$, $X_2\sim N({\mu }_2,{\sigma }_2^2)$라 하자. 확률변수 $Y=X_1+X_2$의 분포를 알아보자.

$E(e^{tY})=E(e^{t{X}_1})E(e^{t{X}_2})=\text{exp}[{\mu }_{1}t+\frac{1}{2}{\sigma }_1^2{t}^2]\text{exp}[{\mu }_{2}t+\frac{1}{2}{\sigma }_2^2{t}^2]=\text{exp}[({\mu }_1+{\mu }_2)t+\frac{1}{2}({\sigma }_1^2+{\sigma }_2^2)t^2]$

따라서 $Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

Note: 위의 경우, $X_1,X_2$가 독립이 아니더라도 bivariate normal이라면 $Y$는 같은 분포를 갖는다.

 

Example sum of independent binomial is binomial

$k$개의 확률변수 $X_i\sim B(n_i,p)$ ($i=1,2,\dots ,k$)에 대하여 $Y=X_1+X_2+\cdots +X_k$의 분포를 알아보자.

$Y$의 mgf를 구하면

$\begin{array}{rl}E(e^{tY})& =E(e^{t{X}_1+t{X}_2+\cdots +t{X}_k})\\ & =E(e^{t{X}_1}\cdot e^{t{X}_2}\cdots e^{t{X}_k})\\ & =E(e^{t{X}_1})E(e^{t{X}_2})\cdots E(e^{t{X}_k})\\ & =(p{e}^t+q{)}^{n_1}\cdots (p{e}^t+q{)}^{n_k}(p+q=1)\\ & =(p{e}^t+q{)}^{\sum _{i=1}^k{n}_i}\end{array}$

따라서 $Y\sim B(\sum n_i,p)$ 인 이항분포를 따른다.