이산확률변수의 기댓값, Expectation of Discrete Case (Bernoulli, Binomial, Geometric, Poisson)
앞서 Ch2에서 확률변수와 확률분포를 배웠다. 이제 유의미한 통계량인 기댓값에 대하여 Ch3를 할애했다.
그리고 기댓값을 시작으로 분산, 공분산, 상관계수를 학습하고 적률생성함수(moment generating function, mgf)로 $k$차 적률($E(X^k)$)까지 유도해본다.
Expected value, 기댓값
이산확률변수 $X$에 대하여, 기댓값을 $E(X)$ 또는 $\mu_X$로 표기한다.
\[ E(X) = \sum_{x \in \mathbb{R}}xP(X=x) = \sum_{x \in \mathbb{R}}xp_X(x) \]
$p_i = P(X=x_i)$로 표기하면 다음과 같이 정의할 수 있다.
\[ E(X) = \sum_{i}x_i p_i \]
Note: 기댓값은 음수가 될 수 있다.
Degenerative Distributions
$P(X=c)=1$이므로 기댓값은
\[ E(X)=c \]
Bernoulli distribution, $X \sim Bernoulli(\theta)$
$P(X=1)=\theta, P(X=0)=1 - \theta$이므로 기댓값은
\[ E(X) = (1)(\theta) + (0)(1-\theta) = \theta \]
베르누이 분포의 경우, $P(A)=E(X)$이다.
Binomial Distribution, $X \sim Binomial(n, \theta)$
$P(X=x) = \dbinom{n}{x}\theta^n (1-\theta)^{n-x}$이므로
\[ E(X) = \sum_0^n x\dbinom{n}{x}\theta^n (1-\theta)^{n-x} = \sum_1^n x\dbinom{n}{x}\theta^n (1-\theta)^{n-x} \]
$x\dbinom{n}{x} = \cfrac{n!}{(x-1)! (n-x)!}$이므로 분모의 형태를 이용하기 위해서 분자가 $n(n-1)!$로 조작하면
\[ E(X) = n \cdot \left[ \sum_1^n \dbinom{n-1}{x-1}\theta^{x-1}(1-\theta)^{(n-1)-(x-1)} \right] \cdot \theta = n\theta \]
이다. $[ \ ]$로 묶인 항은 $Bnimonial(n-1, \theta)$의 모든 확률의 합이므로 $1$이다.
Geometric Distribution, $X \sim Geo(\theta)$
$P(X=x)=(1-\theta)^n \theta$이므로
\[ E(X) = \sum_{x=0}^{\infty}x(1-\theta)^x\theta \]
양변에 $(1-\theta)$를 곱하면
\[ (1-\theta)E(X) = \sum_{x=0}^{\infty}x(1 - \theta)^{x+1}\theta = \sum_{x=1}^{\infty}(x-1)(1 - \theta)^x \theta \]
따라서 $E(X) - (1-\theta)E(X) = \theta E(X)$를 구하면
\[ \theta E(X) = \sum_{x=1}^{\infty}(1-\theta)^x \theta = 1-\theta \]
따라서
\[ E(X) = \cfrac{1-\theta}{\theta} \]
Poisson Distribution, $X \sim Poisson(\lambda)$
$P(X=x) = \cfrac{\lambda^x e^{-\lambda}}{x!}$이므로
\[ E(X) = \sum_{x=0}^{\infty}x \cfrac{\lambda^x e^{-\lambda}}{x!} = \sum_{1}^{\infty} \cfrac{\lambda^x e^{-\lambda}}{(x-1)!} = \left[ \sum_{x=1}^{\infty}\cfrac{\lambda^{x-1} e^{-\lambda}}{(x-1)!} \right] \cdot \lambda = \lambda \]
$[ \ ]$안의 값은 $y=x-1$로 치환하면 포아송분포의 pmf의 합이므로 $1$이다.
The St. Petersburg Paradox
동전을 던져서 앞면이 나올때 까지 나온 뒷면의 횟수를 $x$라 할 때 얻는 돈의 양을 $2^{x+1}$라 하자. ($x \le 0$)
이때의 기댓값을 구하면
\[ \sum_{x=0}^{\infty} (2^x)(1/2^{x+1}) = \sum_{x=0}^{\infty}\frac{1}{2} = \infty \]
동전이 앞면이 나올때까지 무한히 시도하면 무한대의 상금을 받을 수 있다!
이게 옳은 해석인가?
Truncated version
위의 도박에서 종단점을 설정하여 최대 상금이 $2^30$(약 1천만)이라 하자.
\[ \sum_{x=1}^{\infty}(2^{\min(30, x)})(1/2^{x+1}) = \sum_{x=1}^{30}(2^x)(1/2^{x+1}) + \sum_{x=31}^{\infty}(2^{30})(1/2^{x+1}) = 31/2 = 15.5 \]
최대 상금을 한정지었음에도, 실제 기댓값은 $15.5$밖에 되지 않는다.
효용이론(utility theory)에 따르면, 개인의 효용함수 $U(x) = \min(x, 2^{30})$는 $2^{30}$원에 도달할 때 까지는 얻는 돈과 같고 그 이후에는 동일하게 가치를 받아들인다고 해석한다.
Properties of Expectation
(1) $X$가 이산확률변수이고, $\mathbb{R} \to \mathbb{R}$로 대응하는 함수 $g(X)$에 대하여 기댓값은
\[ E(g(X)) = \sum_{x}g(x)P(X=x) \]
(2) $X, Y$가 이산확률변수이고, $\mathbb{R}^2 \to \mathbb{R}$로 대응하는 함수 $h(X, Y)$에 대하여 기댓값은
\[ E(h(X, Y)) = \sum_{x, y}h(x, y)P(X=x, Y=y) \]
(3) Linearity of expected values
이산확률변수 $X, Y$에 대하여 $Z = aX + bY$라 하자. ($a, b$는 실수).이 때 $Z$의 기댓값은
\[ E(Z) = aE(X)+ bE(Y) \]
(4) 이산확률변수 $X, Y$가 서로 독립이면
\[ E(XY) = E(X)E(Y) \]
(5) Monotonicity
두 이산확률변수 $X, Y$가 $X \le Y$일 때 ($X(s) \le Y(s), \ \forall s \in S$) $E(X) \le E(Y)$이다.