조건부 기댓값과 조건부 분산, Conditional Expectation, Conditional Variance, Double Expectation, Law of Total Variance

 

 

Conditional Expectation, 조건부 기댓값

Conditional Expectation
확률변수 $X$와 사건 $A$에 대하여, $A$가 일어났을 때의 $X$의 기댓값(conditional expectation of $X$ given $A$)을 $E(X|A)$라고 한다.
$$E(X|A)=\sum _{x\in R}xP(X=x|A)=\sum _{x\in R}x\frac{P(X=x,A)}{P(A)}$$

Discrete case
두 확률변수 $X$, $Y$에 대하여 $Y$가 주어진 경우 $X$의 조건부 기댓값 $E(X|Y=y)$는 다음과 같다.
$$E(X|Y=y)=\sum xP(X=x|Y=y)=\sum x\frac{p_{X,Y}(x,y)}{p_Y(y)}$$ 

Continuous case
두 확률변수 $X$, $Y$에 대하여 $Y$가 주어진 경우 $X$의 조건부 기댓값 $E(X|Y=y)$는 다음과 같다.
$$E(X|Y=y)={\int }_{x}x{f}_{X|Y}(x|y)dx={\int }_{x}x\frac{f_{X,Y}(x,y)}{f_Y(y)}dx$$

Note: 조건부 기댓값 $E(X|Y=y)$의 결과는$Y$에 대한 식이다.

 

Double Expectation
(1) $E(E(X|Y))=E(X)$ (Total expectation law, 전체 기댓값의 법칙)
(2) $E(g(Y)X|Y)=g(Y)E(X|Y)$ (given $Y$이므로 $g(Y)$는 상수취급할 수 있다.)
(3) $E(E(X|Y)|Y)=E(X|Y)$ ($E(X|Y)$가 이미 $Y$에 대한 식 $g(Y)$이므로 $E(g(Y)|Y)$ 는 조건부가 아니다.)

 

Example

주사위를 던져 나온 수($n$) 만큼 동전을 던져 앞면이 나오는 동전의 개수($X$)의 기댓값을 구해보자. 

이를 수식으로 설명하면

$n\sim U(1,2,3,4,5,6)$, $X|n\sim Binomial(n,0.5)$가 된다. 

전체 기댓값의 법칙을 이용하여

$E(X)=E(E(X|n))=E(0.5n)=0.5\frac{1+6}{2}=(0.5)(3.5)$이다.

 

이를 일반화하면 $n\sim U(1,2,\dots ,N)$, $X|n\sim B(n,p)$이므로

$E(X)=E(E(X|n))=E(np)=pE(n)=p\frac{1+N}{2}$

$E(np)$를 계산할 때, 이미 $p$는 확률변수가 아니므로 $pE(n)$으로 계산할 수 있다.

마찬가지로 결과 $p\frac{1+N}{2}$에서도 역시 $N$은 확률변수가 아니다.

 

Conditional Variance, 조건부 분산
$Y$가 주어진 경우 $X$의 분산을 조건부 분산 $Var(X|Y)$라 하고 다음과 같이 정의한다.
$$Var(X|Y)=E[(X-E(X|Y){)}^2|Y]=E(X^2|Y)-(E(X|Y){)}^2$$

 

Example

$p\sim U(0,1)$이고 $X|p\sim B(n,p)$일 때, $V(X)$를 구해보자.

$\begin{array}{rl}V(X)& =V(E(X|p))+E(V(X|p))\\ & =V(np)+E(npq)\\ & =n^{2}V(p)+nE(p(1-p))\\ & =\frac{n^2}{12}+\frac{n}{6}\end{array}$

 

한편 $E(p(1-p))={\int }_0^{1}p(1-p)dp=1/B(2,2)=\mathrm{\Gamma }(2)\mathrm{\Gamma }(2)/\mathrm{\Gamma }(2+2)=1/6$을 이용했다.

 

Total variance law, 전체 분산의 법칙
$$Var(X)=Var(E(X|Y))+E(Var(X|Y))$$

Regression Modeling

$X$와 $Y$의 순서를 바꾸어서 데이터 $X$가 주어졌을 때, $Y$를 예측하는 모델링을 해보자.

따라서 $E(Y|X)$를 찾는 문제가 된다. 그래서 종종 

$$f(x)=E(Y|X=x)$$

라도 표기한다. (이때 $f$는 regressor, ANOVA, random foreset 등 모든 모델이 가능하다.)

 

이때 $Y$의 전체 분산은 다음과 같다.

$$Var(Y)=Var(E(Y|X))+E(Var(Y|X))$$

여기서 $Var(E(Y|X))$는 $\widehat{f(x)}$의 분산, 즉 $\hat{f}$로 설명되는 불확실성이고, $E(Var(Y|X))$는 여전히 남아있는 불확실성(remaining uncertainty)이다.