Distribution-Free Methods, Method of Moments, Delta Method

 

 

이전까지는 MLE에 기반하여 추정하였다. 그러나 MLE는 어떤 분포를 바탕으로 추정하기 때문에 분포를 모르는 경우에는 적용할 수 없다.

대표적으로 적률추정법(Method of Moments Estimation, MME)이 있고 Delta Methods(델타 방법)을 이용하여 추정량의 함수의 형태도 추정할 수 있다.

 

Methods of Moments Estimation (MOM, MME, 적률추정법)

적률추정법은 $k$차 적률 $\mu_k = E(X^k)$를 sample moment로 추정하는 방법이다.

\[ \hat{\mu_k} = \widehat{E(X^k)} = \cfrac{1}{n}\sum_{i=1}^{n} X_i^k \]

 

parameter가 하나라면 $E(X) = \bar{x}$, 두개라변 $Var(X) = E(X^2)-E(X)^2=s^2$로 연립해서 parameter를 추정하면 된다.

Gamma distribution

$(X_1, \dots, X_n) \overset{i.i.d.}{\sim} Gamma(\alpha, \lambda)$에서 MME를 이용하여 $\hat{\alpha}$를 구해보자.

$E(X) = \frac{\alpha}{\lambda},\ V(X)=\frac{\alpha}{\lambda^2}$에서 $E(X^2)=\frac{\alpha^2 + \alpha}{\lambda}$이다.

MME에 의하면 $\widehat{E(X)} = \hat{\frac{\alpha}{\lambda}} = \overline{X}$, $\widehat{E(X^2)}=\frac{1}{n}\sum X_i^2$이고 $\cfrac{E(X^2)}{E(X)^2}=\alpha + 1$이므로

\[ \alpha = \cfrac{E(X^2)}{E(X)^2} - 1 \ \Rightarrow \ \hat{\alpha} = \cfrac{\frac{1}{n}\sum X_i^2}{\overline{X}}-1 \]

 

Delta Methods

delta method를 이용하면 $\theta$에 대한 함수 역시 추정할 수 있다.

예를 들면 $\overline{X}$를 이용하여 $\frac{1}{\mu^2}$를 추정할 수 있다는 것이다.

Delta Method

\[ \cfrac{\sqrt{n}(g(\overline{X}) - g(\mu))}{\left| g'(\mu) \right| \sigma} \approx N(0, 1) \]
아래와 같이 표현할 수 있다.
\[ \sqrt{n}( g(\overline{X} - g(\mu) ) \overset{D}{\to} N(0, [\sigma g'(\mu) ]^2) \]

Proof

테일러 급수를 이용하면 $\mu$ 근처에서 다음이 성립한다.

\[ g(\overline{X}) \approx g(\mu) + g'(\mu)(\overline{X} - \mu) \]

혹은

\[ g(\overline{X} - g(\mu)) \approx g'(\mu)(\overline{X} - \mu) \]

 

그리고 CLT에 의해 $V(\overline{X}) = \frac{1}{n} V(X)$이므로 ($\mu$는 상수이다) 

\[ V[g(\overline{X}) - g(\mu)] = [g'(\mu)]^2 \cdot \cfrac{1}{n}V(X) = [g'(\mu)]^2 \cdot \cfrac{\sigma^2}{n} \]

 

따라서

\[ g(\overline{X}) \approx N\left( g(\mu), \ \cfrac{g'(\mu)^2 \sigma^2}{n} \right) \]

Inference about Characteristic

unknown $\mu, \sigma^2$인 $N(\mu, \sigma^2)$에서 추출한 $n$개의 표본 $(x_1, \dots, x_n)$에 대하여 $g(\mu) = 1/\mu^2$ 에 대한 $\gamma$-CI를 구해보자.

$g'(\mu) = -\frac{2}{\mu^3}$이므로

\[ \sqrt{n} \left( \cfrac{1}{\overline{X}^2} - \cfrac{1}{\mu^2} \right) \approx N\left( 0, s^2 \cfrac{4}{\mu^6} \right) \] 

따라서 신뢰구간은

\[ \left( \cfrac{1}{\overline{X}} \right)^2 \pm z_{\frac{1+\gamma}{2}} \cdot s \cdot \cfrac{2}{\overline{X}^3} \]