Distribution-Free Methods, Method of Moments, Delta Method

 

 

이전까지는 MLE에 기반하여 추정하였다. 그러나 MLE는 어떤 분포를 바탕으로 추정하기 때문에 분포를 모르는 경우에는 적용할 수 없다.

대표적으로 적률추정법(Method of Moments Estimation, MME)이 있고 Delta Methods(델타 방법)을 이용하여 추정량의 함수의 형태도 추정할 수 있다.

 

Methods of Moments Estimation (MOM, MME, 적률추정법)

적률추정법은 $k$차 적률 ${\mu }_k=E(X^k)$를 sample moment로 추정하는 방법이다.

$$\widehat{{\mu }_k}=\widehat{E(X^k)}=\frac{1}{n}\sum _{i=1}^n{X}_i^k$$

 

parameter가 하나라면 $E(X)=\overline{x}$, 두개라변 $Var(X)=E(X^2)-E(X{)}^2=s^2$로 연립해서 parameter를 추정하면 된다.

Gamma distribution

$(X_1,\dots ,X_n)\stackrel{i.i.d.}{\sim }Gamma(\alpha ,\lambda )$에서 MME를 이용하여 $\hat{\alpha }$를 구해보자.

$E(X)=\frac{\alpha }{\lambda },V(X)=\frac{\alpha }{{\lambda }^2}$에서 $E(X^2)=\frac{{\alpha }^2+\alpha }{\lambda }$이다.

MME에 의하면 $\widehat{E(X)}=\widehat{\frac{\alpha }{\lambda }}=\bar{X}$, $\widehat{E(X^2)}=\frac{1}{n}\sum X_i^2$이고 $\frac{E(X^2)}{E(X{)}^2}=\alpha +1$이므로

$$\alpha =\frac{E(X^2)}{E(X{)}^2}-1\Rightarrow \hat{\alpha }=\frac{\frac{1}{n}\sum X_i^2}{\bar{X}}-1$$

 

Delta Methods

delta method를 이용하면 $\theta$에 대한 함수 역시 추정할 수 있다.

예를 들면 $\bar{X}$를 이용하여 $\frac{1}{{\mu }^2}$를 추정할 수 있다는 것이다.

Delta Method

$$\frac{\sqrt{n}(g(\bar{X})-g(\mu ))}{|g^{\prime }(\mu )|\sigma }\approx N(0,1)$$
아래와 같이 표현할 수 있다.
$$\sqrt{n}(g(\bar{X}-g(\mu ))\stackrel{D}{\to }N(0,[\sigma g^{\prime }(\mu ){]}^2)$$

Proof

테일러 급수를 이용하면 $\mu$ 근처에서 다음이 성립한다.

$$g(\bar{X})\approx g(\mu )+g^{\prime }(\mu )(\bar{X}-\mu )$$

혹은

$$g(\bar{X}-g(\mu ))\approx g^{\prime }(\mu )(\bar{X}-\mu )$$

 

그리고 CLT에 의해 $V(\bar{X})=\frac{1}{n}V(X)$이므로 ($\mu$는 상수이다) 

$$V[g(\bar{X})-g(\mu )]=[g^{\prime }(\mu ){]}^2\cdot \frac{1}{n}V(X)=[g^{\prime }(\mu ){]}^2\cdot \frac{{\sigma }^2}{n}$$

 

따라서

$$g(\bar{X})\approx N(g(\mu ),\frac{g^{\prime }(\mu {)}^2{\sigma }^2}{n})$$

Inference about Characteristic

unknown $\mu ,{\sigma }^2$인 $N(\mu ,{\sigma }^2)$에서 추출한 $n$개의 표본 $(x_1,\dots ,x_n)$에 대하여 $g(\mu )=1/{\mu }^2$ 에 대한 $\gamma$-CI를 구해보자.

$g^{\prime }(\mu )=-\frac{2}{{\mu }^3}$이므로

$$\sqrt{n}(\frac{1}{{\bar{X}}^2}-\frac{1}{{\mu }^2})\approx N(0,s^2\frac{4}{{\mu }^6})$$ 

따라서 신뢰구간은

$${\left(\frac{1}{\bar{X}}\right)}^2\pm z_{\frac{1+\gamma }{2}}\cdot s\cdot \frac{2}{{\bar{X}}^3}$$