Chapter 8. Estimation

[Mathematical Statistics with Applications 7th Edition, Wackerly, Mendenhall, Scheaffer]

통계적 추정

8.1 Introduction

관심있는 파라미터를 target parameter라고 부르고, 이는 $p,\mu ,{\sigma }^2$ 등이 될 수 있다.

point estimate(점추정): 단일 값, 단일 점에 대한 추정(예. $\mu$)

interval estimate(구간추정): 구간에 대한 추정 ($(.07,.19)$)

estimator(추정량): 추정값에 대한 공식이나 표현

표본평균(sample mean, $\overline{Y}=\frac{1}{n}\sum _{i=1}^n{Y}_i$)은 estimator의 한 예이다. 

 

같은 모수를 추정할 때에 다른 estimator를 활용할 수 있으며, 좋을 수도, 나쁠 수도 있다.

8.2 The Bias and Mean Square Error of Point Estimators

점추정은 리볼버로 과녁을 맞추는 것에 비유할 수 있다. 사격수가 한발을 과녁에 발사했다고 하자. 그것이 좋은 발사였는가? 만약에 100발을 과녁에 맞았다면, 사격수가 다음에 좋은 사격을 할 지 알수 있을 것이다. 

즉, 우리는 점추정을 할 때 단번의 추정으로는 그 추정량이 좋은지 나쁜지 알 수 없다. 그렇기 때문에 수많은 추정을 해야 한다.

우리가 모수 $\theta$를 점추정을 하고 싶다고 하자. 그 추정량은 $\hat{\theta }$이고 세타 햇으로 읽는다. 리볼버 사격에서,  표본들이 그림8.1처럼 분포되기를 원한다. 즉 $E(\hat{\theta })=\theta$ 인 것이다. 점추정이 이를 만족하면 우리는 unbiased 라고 부른다. 만약 표본 분포가 biased되어 $E(\hat{\theta })>\theta$ 라면 그림 8.2처럼 될 것이다.

$\hat{\theta }$가 $\theta$의 점추정량이라 하자. $E(\hat{\theta })=\theta$를 만족하면 $\hat{\theta }$은 불편추정량(unbiased estimator)라 하고, $E(\hat{\theta })\ne \theta$라면 $\hat{\theta }$는 편의추정량(biased)라고 한다.

$\hat{\theta }$의 bias는 $B(\hat{\theta })=E(\hat{\theta })-\theta$ 이다.

 

우리는 분산이 작으면 $\hat{\theta }$가 $\theta$에 가까울 것임을 보장할 수 있다. 즉 $V(\hat{\theta })$가 작기를 원한다. 우리는 가능한 작은 분산을 가진 불편추정량을 고를 것이다.

분산을 직접 계산하는 대신에, 우리는 $E(\hat{\theta }-\theta {)}^2$를 이용하고 mean square error라 부른다. 즉 $MSE(\hat{\theta })=V(\hat{\theta })+[B(\hat{\theta }){]}^2$이다.

8.3 Some Common Unbiased Point Estimators

대표적인 불편추정량들을 알아보자

표본분산($S^2$)의 기댓값이 모분산(${\sigma }^2$)이 되어야 함을 이용하여 표본분산의 불편추정량이

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(Y_i-\overline{Y}{)}^2$$

임을 알 수 있다.

 

위에 적힌 4가지 parameter들은 large sample인 경우에 정규분포를 따른다.(중심극한정리) 일반적으로 $n=30$이상이면 충분이 큰 표본(large samples)이라 한다.

 

8.4 Evaluating the Goodness of a Point Estimator

점추정을 평가하는 법

error of estimation: $ϵ=|\hat{\theta }-\theta |$

error bound: $P(|\hat{\theta }-\theta |)<b=0.90$

2$\sigma 내에있을확률$

Example 8.2

표본의 크기가 $n=1000$인 유권자들 중에서 $560$명이 후보 Jones에게 투표했다고 한다. Jones에게 투표한 비율 $p$를 추정하고, 2-standard-error bound를 구하라.

 

표본의 크기가 충분히 크기 때문에 표본비율을 사용한다.

$\hat{p}=560/1000=0.56,b=2{\sigma }_{\hat{p}}=2\sqrt{\frac{pq}{n}}\approx 2\sqrt{\frac{(0.56)(0.44)}{1000}}=0.03$

추정량 $.56$은 $.03$ 오차 이내에 모비율 $p$가 있다고 확신할 수 있다.

 

Example 8.3

두 종류의 자동차 타이어의 내구도를 비교하려고 한다. $n_1=n_2=100$의 표본을 구했다. 두 타이어는 독립적으로 기록했고 다음과 같은 평균과 분산을 구하였다.

$$\overline{y_1}=26,400,\overline{y_2}=25,100$$

$$s_1^2=1,440,000,s_2^2=1,960,000$$

2-standard-error 오차범위에서 평균의 차이를 추정하여라.

 

$\overline{y_1}-\overline{y_2}=1300$

${\sigma }_{(\overline{Y_1}-\overline{Y_2})}=\sqrt{\frac{{\sigma }_1^2}{n_1}-\frac{{\sigma }_2^2}{n_2}}$

하지만 모표준편차(와 모분산)를 구할 수 있는 방법은 없다. 대신 모분산의 불편추정량을 이용하여

$${\sigma }_i^2=S_i^2=\frac{1}{n_i-1}\sum _{j=1}^{n_i}{(Y_{ij}-\overline{Y_i})}^2,i=1,2$$

따라서 

$${\sigma }_{(\overline{Y_1}-\overline{Y_2})}=\sqrt{\frac{{\sigma }_1^2}{n_1}-\frac{{\sigma }_2^2}{n_2}}\approx \sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}=\sqrt{34,000}=184.4$$

따라서, 차의 평균은 1300으로 추정하고, 184.4 사이에 있을 확률은 95%이다.

 

8.5 Confidence Intervals

신뢰구간

이상적으로, 2가지 성질은 갖는다. target parameter $\theta$를 가지면서 상대적으로 좁아햐 한다. 우리의 목표는 높은 확률로 $\theta$를 포함하면서 좁은 구간을 찾는 것이다.

신뢰구간의 하단과 상단을 각각 좌측신뢰한계(lower confidence limit), 우측신뢰한계(upper confidence limit)라 부른다. 그리고 신뢰구간이 $\theta$에 가까운 확률을 신뢰계수(confidence coefficient)라 부른다.

$\widehat{{\theta }_L}$과 $\widehat{{\theta }_U}$를 각각 좌/우측 신뢰한계라 하자. 그러면 $(1-\alpha )$가 신뢰 계수일 때 

$$P(\widehat{{\theta }_L}\le \widehat{{\theta }_U})=1-\alpha$$

인 $[\widehat{{\theta }_L},\widehat{{\theta }_U}]$을 양방향신뢰구간(two-sided confidence interval)이라 부른다.

 

물론, 단방향 신뢰구간(one-sided confidence interval)도 존재한다. 

신괴구간이 $[\widehat{{\theta }_L},\mathrm{\infty }$인 경우에는 신뢰계수가 $P(\widehat{{\theta }_L}\le \theta )=1-\alpha$이고,

신뢰구간이 $(-\mathrm{\infty },\widehat{{\theta }_U}]$인 경우에는 신뢰계수가 $P(\theta \le \widehat{{\theta }_U})=1-\alpha$가 된다.

 

Example 8.4

평균이 $\theta$인 지수분포를 관찰한다고 하자. 신뢰계수가 $0.9$인 신뢰구간을 구하여라.

 

$Y$의 pdf가 $y$가 음수인 곳에서는 $0$이고 그 외에는  $f(y)=\frac{1}{\theta }{e}^{-y/\theta }$이다.

$U=Y/\theta$로 치환하면 누적함수는 $f_U(u)=e^{-u}$이다. 중심충략(pivotal method)의 성질에 따라 $P(a\le U\le b)=0.9$인 $a,b$를 찾는 것과 동일한 문제로 치환되었다.

예제 8.4의 누적밀도함수

 

$P(U\le a)={\displaystyle {\int }_0^a{e}^{-u}du=0.5,1-e^{-a}=0.5,a=0.051}$

$P(U>b)={\displaystyle {\int }_b^{\mathrm{\infty }}{e}^{-u}du=0.5,e^{-b}=0.5,b=2.996}$

 

따라서 $0.90=P(0.051\le \frac{Y}{\theta }\le 2.996)=P(\frac{Y}{2.996}\le \theta \le \frac{Y}{0.051})$

8.6 Large-Scale Confidence Intervals

충분한 표본에서의 신뢰구간

$\theta$가 $\mu ,p,{\mu }_1-{\mu }_2,p_1-p_2$이면서 많은 표본을 가지고 있다면 $Z=\frac{\hat{\theta }-\theta }{{\sigma }_{\theta }}$는 정규분포에 근사하며 pivotal quantity이고 pivotal method를 적용하여 신뢰구간을 구할 수 있다.

정규분포에서의 신뢰구간

Example 8.7

동네 슈퍼에서 사람들의 쇼핑시간을 추출하였고 ($n=64$), 쇼핑시간의 평균과 분산은 각각 33(분)과 256(분${}^2$)이다. 신뢰계수가 $1-\alpha =0.90$일 때의 $\mu$를 추정하여라.

 

$\theta =\mu ,\hat{\theta }=\overline{y}=33,s^2=256$이고 $n>30$이므로 $s^2$을 모분산(${\sigma }^2$)으로 대체한다.

정규분포표를 이용하면

$\overline{y}-z_{\alpha /2}\left(\frac{s}{\sqrt{n}}\right)=33-1.645\left(\frac{16}{8}\right)=29.71$

$\overline{y}+z_{\alpha /2}\left(\frac{s}{\sqrt{n}}\right)=33+1.645\left(\frac{16}{8}\right)=36.29$

따라서 구간 $(29.71,36.39)$에 $\mu$가 있을 확률은 95%이다.

 

Example 8.8

두개의 냉장고 브랜드 A, B가 있다. A냉장고에서 50개의 표본을, B냉장고에서 60개의 표본을 추출하고 각각 12, 12개의 보증내 불량이 발견되었다. 98%의 신뢰계수를 갖는 $(p_1-p_2)$를 추정하여라.

 

$$(\widehat{p_1}-\widehat{p_2})\pm z_{\alpha /2}\sqrt{\frac{p_1{q}_1}{n_1}+\frac{p_2{q}_2}{n_2}}$$

이고, $n$이 충분히 크기 때문에 모비율 대신에 표본비율을 이용할 수 있다.

$\widehat{p_1}=0.24,\widehat{p_2}=0.2$에서 $\widehat{q_1}=0.76,\widehat{q_2}=0.8$이므로 신뢰구간은 $[-0.1451,0.2251]$이다.

8.7 Selecting the Sample Size

신뢰계수를 이용하여 특정 신뢰도를 확보하기 위한 표본 개수를 유추할 수 있다. 하지만 $\sigma$를 알 수 없기 때문에 $s^2$로 대체한다 하더라도 상당한 오차가 발생한다. 그럼에도 불구하고, 이 방법은 large-sample estimation에서는 유효하다.

$$P(Z>z_{\alpha /2})=\frac{\alpha }{2}$$

 

Example 8.9 (변형)

어떤 심리 실험에 따르면 두개의 결과를 알 수 있다고 한다. $p$는 긍정적인 반응을 일으키는 확률이라 하자. 얼마나 많은 사람들을 실험에 참여해야하는가? 추정량의 오차는 $0.04$ 이하이어야 하고 신뢰도는 90%와 같아댜한다.

 

$1-\alpha =0.9$이므로 $\alpha =0.1$, $\alpha /2=0.05$이다.

표준정규분포를 이용하면 $z_{\alpha /2}=1.645$이므로 $1.645\frac{pq}{n}=0.04$인 $n$을 구한다.

$p$를 알 수 없기 때문에 maximum possible value인 $p=0.5$로 하고 계산하면 $n=423$이다.

추정된 $n$이 충분히 크기 때문에 $B=0.04$이면서 신뢰도 90%를 유지하는데 무리가 없다.

 

8.8 Small-Sample Confidence Intervlas for $\mu$ and ${\mu }_1-{\mu }_2$

적은 표본에서의 모평균의 신뢰구간과 모평균의 차의 신뢰구간

 

$Y_1,Y_2,...,Y_n$가 정규분포에서 추출된 확률변수일 때 $\overline{Y}$와 $S^2$는 표본평균(sample mean)과 표본분산(sample variance)이다. 이때 확률변수 $T$는 

$$T=\frac{\overline{Y}-\mu }{S/\sqrt{n}}$$

이고 자유도가 $(n-1)$인 t분포를 따른다. 따라서 신뢰구간은 다음과 같이 구한다.

$$P(-t_{\alpha /2}\le T\le t_{\alpha /2})=1-\alpha$$

이때 \alpha는 자유도 $(n-1)$임에 의존함을 주의한다.

 

모평균의 신뢰구간은 $\overline{Y}=t_{\alpha /2}\left(\frac{S}{\sqrt{n}}\right)$로 구한다.

 

Example 8.11

한 화약 제조업체가 여덟 개의 껍데기에서 실험된 새로운 화약을 개발했다. 그 결과 초당 피트 단위의 총구 속도는 다음과 같았다고 한다.

$$3005,2925,2935,2965,2995,3005,2937,2905$$

이때, 95%의 신뢰도를 갖는 $\mu$의 신뢰구간을 구하여라. 총구속도는 정규분포에 근사한다고 가정한다.

 

$\overline{y}=2959,s=39.1,n-1=7,\alpha =0.05$이므로 t분포표를 이용하면 $t_{0.025}=2.365$이다. 따라서 모평균 $\mu$의 신뢰구간은 $2959\pm 32.7$이다. 

 

적은 표본에서 신뢰구간을 구하는 방법

 

8.9 Confidence Intervals for ${\sigma }^2$

모분산의 신뢰구간

$Y_1,Y_2,...,Y_n$가 정규분포에서 추출된 확률변수이고 $\mu ,{\sigma }^2$ 모두 알 수 없다고 하면 다음을 만족한다.

따라서 신뢰구간은

$$P[{\chi }_L^2\le \frac{(n-1)S^2}{{\sigma }^2}\le {\chi }_U^2]=1-\alpha$$

카이제곱분포는 비대칭이므로 ${\chi }_L^2,{\chi }_U^2$를 구하는 것이 자유롭다. 우리는 가장 짧은 신뢰구간을 찾기를 원하기 때문에, 경험적으로 아래와 같이 좌측/우측신뢰한계를 구한다.

카이제곱분포의 좌측/우측 신뢰한계

모분산의 신뢰구간은 카이제곱분포를 이용한다

 

8.10 Summary

1. $MSE(\hat{\theta })=V(\hat{\theta })+[B(\hat{\theta }){]}^2$
2. $n$이 충분히 크다면, CLT(중심극한정리)에 따라 $\mu ,p$는 정규분포에 근사한다.
3. $n$이 작고 표본이 정규분포를 따른다면, $\mu$의 신뢰구간을 구할때는 $t$분포를 이용한다.
4. $n_1\approx n_2$이고 정규분포를 따를때, ${\mu }_1-{\mu }_2$의 신뢰구간을 구할 수 있다.
5. 표본이 정규분포를 따르고 ${\sigma }^2$의 신뢰구간을 구할때는 카이제곱분포를 이용한다.

(3)과 (5)는 표본이 정규분포를 따르지 않는다면 보장할 수 없다

(4)에서 $n_1$과 $n_2$가 다를 수록, 분산은 치명적이다.