Moment Generating Function, 적률생성함수, mgf, MGF
확률변수 $X$와 양수 $k$에 대하여, $k$번째 적률($k$-th moment of $X$)을 $E(X^k)$라고 한다.
이때 적률생성함수(모멘트 생성 함수)는 다음과 같이 정의한다.
\[ m_X(t) = E(e^{tx}) \]
임의의 확률변수 $X$와 그 mgf를 $m_X(t) (< \infty)$라 하자. mgf의 $k$계도 함수를 이용하여 $k$차 적률을 구할 수 있다. 즉
\[ m_X^{(k)}(0) = E(X^k) \]
특히, $m'_X(0) = E(X), \ m''_X(0) = E(X^2)$이다.
$e^x = 1 + x + \cfrac{x^2}{2!} + \cfrac{x^3}{3!} + \cdots$ 에서
$e^{tx} = 1 + tx + \cfrac{(tx)^2}{2!} + \cfrac{(tx)^3}{3!} + \cdots$ 이므로
$E(e^{tx}) = 1 + tE(X) + \cfrac{t^2}{2!}E(X^2) + \cdots$ 이다.
또한, 위 식을 연쇄적으로 미분하여 $t=0$을 대입하면 $k$차 적률 $E(X^k)$를 구할 수 있다.
$k$-th central moment, $E[(X - \mu)^k]$, $k$차 중심적률
1차 중심적률: $E(X-\mu) = 0$
2차 중심적률: $E[(X-\mu)^2] = \sigma^2$ (분산)
3차 중심적률: skewness (왜도). 대칭성 결핍도. $0$에 가까울 수록 symmetric하다.
4차 중심적률: kurtosis (첨도). thickness of tail. 꼬리의 두꺼운 정도. 특이치(outlier)의 척도.
Note: 첨도라고 해서 정점이나 평탄한 것을 나타내는 말이 아니다.
(1) $X \sim Binomial(n, \theta)$
$\begin{align*} E(e^{tx}) & = \sum_{x=0}^{n} e^{tx}\binom{n}{x}\theta^x (1-\theta)^{n-x} \\ &= \sum_{x=0}^{n}\binom{n}{x}(\theta e^{tx})^x(1-\theta)^{n-x} \\ & = (1-\theta + \theta e^t)^n \end{align*}$
따라서 mgf는
\[ m_X(t) = (1 - \theta + \theta e^t)^n \]
$m'_X(t) = n(1 - \theta + theta e^t)^{n-1} \theta e^t$이므로
$E(X) = m'_X(t) = n\theta$이다.
(2) $X \sim Poisson(\lambda)$
$\begin{align*} E(e^{tx}) &= \sum_{x=0}^{\infty}e^{tx}\cdot \cfrac{\lambda^x e^{-\lambda}}{x!} \\ &= \sum_{x=0}^{\infty}\cfrac{(\lambda e^t)^x e^{-\lambda}}{x!} \\ &= \sum_{x=0}^{\infty}\cfrac{(\lambda e^t)^x e^{-(\lambda e^t)}}{x!} \cdot e^{-\lambda} \cdot e^{\lambda e^t} \\ &= e^{\lambda e^t - \lambda} \end{align*}$
따라서 포아송분포의 mgf는
\[ m_X(t) = e^{\lambda (e^t - 1)} \]
(3) $X \sim Exp(\lambda)$
$\begin{align*} E(e^{tx}) &= \int_0^{\infty}e^{tx}\cdot \lambda e^{\lambda x} dx \\ &= \int_0^{\infty}\lambda e^{-(\lambda - t)x} \cdot (\lambda - t) \cdot \cfrac{1}{\lambda - t} dt \\ &= \cfrac{\lambda}{\lambda - t} \end{align*}$
따라서 mgf는
\[ m_X(t) = \cfrac{\lambda}{\lambda - t} \]
단, $\lambda - t > 0$이므로 $t$의 범위는 $(-\infty < t < \lambda)$이다.
(4) $X \sim N(0, 1)$
$\begin{align*} E(e^{tx}) &= \int_{-\infty}^{\infty}e^{tx} \cfrac{1}{\sqrt{2 \pi}}e^{-\frac{1}{2}x^2} dx \\ &= \int_{-\infty}^{\infty}\cfrac{1}{\sqrt{2 \pi}}e^{-\frac{1}{2}(x^2 -2tx + 1)}dx \cdot e^{\frac{1}{2}t^2} \\ &= e^{\frac{1}{2}t^2} \end{align*}$
따라서 mgf는
\[ m_X(t) = e^{\frac{1}{2}t^2} \ (-\infty < t < \infty) \]
두 확률변수 $X$, $Y$에 대하여 다음이 성립한다.
(1) Linearity
$Y = aX + b$라면 $m_Y(t) = E(e^{atX + tb}) = e^{tb}m_X(at)$
(2) Independence
$X, Y$가 독립이라면 $m_{X+Y}(t) = m_X(t) m_Y(t)$이다.
(5) $X \sim N(\mu, \sigma^2)$
$Y = \sigma X + \mu$이고 $X \sim N(0, 1)$이라 하자. 이때
\[ m_Y(t) = e^{\mu t}\cdot e^{\frac{1}{2}(\sigma^2 t^2)} = \text{exp} \left[ \mu t + \cfrac{1}{2}\sigma^2 t^2 \right] \]
Example
$m(t) = e^{3t + t^2}$이면, $X \sim N(3, \sqrt{2}^2)$
Example sum of independent normal is normal
서로 독립인 두 확률변수 $X_1, X_2$가 각각 $X_1 \sim N(\mu_1, \sigma_1^2)$, $X_2 \sim N(\mu_2, \sigma_2^2)$라 하자. 확률변수 $Y = X_1 + X_2$의 분포를 알아보자.
$E(e^{tY}) = E(e^{tX_1}) E(e^{tX_2}) = \text{exp}[\mu_1t + \frac{1}{2}\sigma_1^2 t^2] \text{exp}[\mu_2t + \frac{1}{2}\sigma_2^2 t^2] = \text{exp}[(\mu_1 + \mu_2)t + \frac{1}{2}(\sigma_1^2 + \sigma_2^2 )t^2]$
따라서 $Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$
Note: 위의 경우, $X_1, X_2$가 독립이 아니더라도 bivariate normal이라면 $Y$는 같은 분포를 갖는다.
Example sum of independent binomial is binomial
$k$개의 확률변수 $X_i \sim B(n_i, p)$ ($i=1, 2, \dots, k$)에 대하여 $Y = X_1 + X_2 + \cdots + X_k$의 분포를 알아보자.
$Y$의 mgf를 구하면
$\begin{align*} E(e^{tY}) &= E(e^{tX_1 + tX_2 + \cdots + tX_k}) \\ &= E(e^{tX_1} \cdot e^{tX_2} \cdots e^{tX_k}) \\ &= E(e^{tX_1}) E(e^{tX_2}) \cdots E(e^{tX_k}) \\ &= (pe^t + q)^{n_1} \cdots (pe^t + q)^{n_k} \quad (p+q=1) \\ &= (pe^t + q)^{\sum_{i=1}^{k} n_i} \end{align*}$
따라서 $Y \sim B(\sum n_i, p)$ 인 이항분포를 따른다.
