본문 바로가기
스터디/확률과 통계

Ch5. Statistical Inference

by 궁금한 준이 2023. 5. 8.
728x90
반응형

 

 

Why do we need statistics?

지금까지 통계 이론을 많이 배웠다. 그렇다면 통계적 방법이 유용한 경우는 언제일까?

 

스탠포드 심장 이식 연구를 예시로 하여 생각을 해보자. 이 논문에는 심장 이식 프로그램의 성공 여부를 논하고 있다. 우리는 심장 이식 수술을 받은 환자가 그렇지 않은 환자보다 더 오래 사는지 관심을 가질 것이다. 그러나 이는 수술을 받은 환자와 수술을 받지 않은 환자 모두 사망할 때까지 기다려야 알 수 있다. 대신에, 심장 이식 수술을 받은 환자의 수명을 비교할 수 있다.

 

한가지 접근 방법은 심장 이식 수술을 받은 환자와, 그렇지 않은 환자의 수명 분포가 있다고 가정하는 것이다. 이식을 받은 집단을 T(Transplant)라 하고 수술을 받지 않은 집단을 대조군이라 하여 C라 하자. 즉 각 집단의 수명 분포를 각각 fT,fC로부터 평균수명을 계산하여 심장 이식 수술의 효용성을 판단할 수 있다. 그리고 추출한 표본(sample)이 많을 수록 가능할 것이다.

 

그러나 실제로는 표본의 크기가 크지 않기 때문에 불확실성에 직면하게 된다.

 

 

Probability Model

만일 우리가 확률 모형(probability model)을 알고 있다면 미래 불확실성을 계산할 수 있다.

확률 분포를 사용하여 미래 반응을 예측하거나 주어진 값이 분포의 가능한 미래 값으로 타당한지 여부를 평가할 수 있습니다.

 

예를 들어 평균수명이 1년인 어떤 기계의 수명은 XExp(1)인 확률 모델을 따른다고 할 수 있다. 

이 기계가 5년 이상 동작할 확률은 P(X>5)=5ex dx=0.0067 과 같이 계산이 가능하다.

또한 최빈값(mode), 평균(mean), 중앙값(median) 등도 계산할 수 있다.

Note: 연속확률분포에서 mode는 density가 최댓값이다.

 

Example. Beta Distribution

a, b>1일 때, 베타 분포의 평균과 최빈값을 구하고, 평균이 most accurate predictor임을 보여라.

 

(평균을 구하는 것은 생략)

E(X)=aa+b

a,b>1이므로 베타분포는 unimodal(단봉) distribution이다.

fX(x)=1B(a,b)xa2(1x)b2{(a1)(1x)(b1)x}

fX(x)=0이 되는 x를 찾으면 mode(X)=a1a+b2 이다.

 

일반적으로 mean은 MSE를 최소화하는 값이므로 MSE(μ)=0임을 보이자.

MSE(μ)=E[(Xμ)2]=E(X2)2E(X)μ+μ2

MSE(μ)=2E(X)+2μ=0

또한 MSE(μ)=2>0이므로 아래로 볼록하다.

MSE를 최소로 하는 값은 μ=E(X)이다.

따라서 mode보다 mean이 X를 예측하는 더 좋은 predictor가 된다.

 

Example. Geometric Distribution

XGeo(1/3)일 때, 확률이 0.95인 가장 짧은 구간을 구하여라.

 

p(x)=(23)x1(13),x=1,2,3,

기하분포는 감소함수이므로 가장 짧은 구간은 1,2,,k가 될 것이다.

따라서 cdf(k)>0.95가 되는 k의 최솟값을 찾는다.

cdf(k)=1(1p)K>0.95, 1(2/3)k>0.95, log(0.05)>klog(2/3), 7.388<k

따라서 k=8이다.

 

Statistical Models

위의 확률 모델은 확률 분포를 완전히 알고있는 경우에 사용할 수 있다. 그러나 많은 경우에 확률 자체에 대한 불확실성을 갖는다. 즉 우리가 얻은 data를 바탕으로 P를 추론(infer)해야한다. 몇가지 잘 알려진 방법을 익히기 전에 기본 요소를 정리해보자.

통계모델(statistical model)은 집합 {Pθ:θΩ} 으로 표현된다. 이때 θ는 parameter(모수), Ω는 parameter space라 한다. 그리고 두 모수가 같은 경우에만 statistical model이 같다고 한다. (Pθ1=Pθ2 iff θ1=θ2)

Pθ는 pmf, pdf, cdf가 가능하고 density의 경우 fθ로, cdf의 경우 Fθ 로 표기할 수 있다.

 

I.I.D. Random Sample

single X가 어떤 분포 fθ를 갖는다고 하자.

i.i.d. sample (X1,,Xn)의 경우는 joint density fθ(x1)fθ(xn)을 갖는다.

 

Example. Bernoulli Distribution

X1,,Xni.i.d.Ber(θ)라 하면 θΩ={0,1}이고 fθ(x)=θx(1θ)1x이므로 joint pmf는 

fθ(x1)fθ(xn)=θi=1nxi(1θ)ni=1nxi

 

Example. Normal Distribution

X1,,Xni.i.d.N(μ,σ2) 라 하면

fμ, σ2(x1,,xn)=(2πσ2)n/2exp[i=1n(xiμ)22σ2]=(2πσ2)n/2exp[n(xμ)22σ2(n1)S22σ2]

 

Types of Inference

ψ(θ): θ에 대한 함수

s: data. sample에 대한 함수이다. (mean, variance, 등)

 

Problem of estimation

Choose an estimate of T(s) of ψ(θ)

 

Credible region (Confidence retion) construction

ψ(θ)의 가능한 범위 C(s)를 구성하는 것

 

Hypothesis assessment (Hypothesis testing)

데이터 s를 관측했을 때 ψ0가 그럴듯한지(plausible) 테스트

728x90
반응형