확률에서의 부등식, Inequality (Markov's, Chebychev's, Cauchy-Schwartz, Jensen's, 마르코프, 체비셰프, 코시-슈바르츠, 젠센 부등식)

 

 

확률(특히 기댓값)과 관련된 부등식들이 많이 알려져 있다. 이중 4가지 부등식에 대하여 다룬다.

각 부등식 마다 확률변수의 정의나 범위가 다르므로 주의한다.

Markov's inequality, 마르코프 부등식

음이 아닌 확률변수 $X$(즉, $X\ge 0$)와 양의 실수 $a$에 대하여 다음 부등식이 성립한다.

$$P(X\ge a)\le \frac{E(a)}{a}X\ge 0,a>0$$

마르코프 부등식 증명

$$\begin{array}{rl}P(X\ge a)& ={\int }_a^{\mathrm{\infty }}f(x)dx\\ & \le {\int }_a^{\mathrm{\infty }}\frac{x}{a}f(x)dxx\in (a,\mathrm{\infty })\iff \frac{x}{a}\in (1,\mathrm{\infty })\\ & \le {\int }_0^{\mathrm{\infty }}\frac{x}{a}f(x)dx\\ & =\frac{1}{a}{\int }_0^{x}xf(x)dx\\ & =\frac{1}{a}E(X)\end{array}$$

 

마르코프 부등식의 의미

음이 아닌 확률변수의 확률은 기댓값이 상한을 갖는다는 의미를 갖는다.

Chebychev's inequality, 체비셰프 부등식

Note: 영어권 표기법이 매우 다양하고, Chebyshev(체비쇼프)가 좀 더 정확한 발음인 것으로 보인다.

확률변수 $Y$가 평균 ${\mu }_Y$를 갖고, 양의 실수 $a$에 대하여 다음 부등식이 성립한다.

$$P(|Y-{\mu }_Y|\ge a)\le \frac{\text{Var}(Y)}{a^2}$$

체비셰프 부등식 증명

$X=|Y-{\mu }_Y|$라 하면 마르코프 부등식에 의해

$$\begin{array}{rl}P(X\ge a)& =P(|Y-{\mu }_Y|\ge a)\\ & =P(|Y-{\mu }_Y{|}^2\ge a^2)\\ & \le \frac{E(|Y-{\mu }_Y{|}^2)}{a^2}(\because \text{Markov's inequality})\\ & =\frac{\text{Var(Y)}}{a^2}\end{array}$$

 

체비셰프 부등식의 상한

$a=\sigma$를 대입하면 이 부등식은 $P(|X-\mu |\ge \sigma )\le \frac{\text{Var}(X)}{{\sigma }^2}=1$이다. 즉 이 부등식은 tight하지 않다. (범위가 느슨하다)

 

체비셰프 부등식의 활용

하지만 $a=k\sigma$라 하면 다음의 부등식을 얻을 수 있다.

$$\begin{array}{rl}P(|X-\mu |\ge a)& \le {\left(\frac{\sigma }{a}\right)}^2\\ \iff P(|X-\mu |\ge k\sigma )& \le \frac{1}{k^2}\end{array}$$

즉, $X$의 분포를 모르더라도, $X$가 $\mu \pm k\sigma$ 내에 있을 확률의 상한값을 구할 수 있다.

 

Example

$X\sim N(\mu ,{\sigma }^2)$일 때, $P(|X-\mu |\ge 2\sigma )\le 1/4=0.25$

반응형

Cauchy-Schwartz inequality, 코시-슈바르츠 부등식

임의의 확률변수 $X,Y$가 분산이 $0$이 아닐 때, 다음 부등식이 성립한다.
$$|\text{Cov}(X,Y)|\le \sqrt{\text{Var}(X)\text{Var}(Y)}$$

코시-슈바르츠 부등식의 의미

$X$와 $Y$의 분산이 작다면, 공분산 $\text{Cov}(X,Y)$ 역시 작을 수밖에 없다는 뜻이다.

 

선형대수에서의 코시-슈바르츠 부등식

두 벡터 $\mathbf{v},\mathbf{w}\in {\mathbb{R}}^n$에 대하여

$$|\mathbf{v}\cdot \mathbf{w}{|}^2\le \Vert \mathbf{v}{\Vert }^2\Vert \mathbf{w}{\Vert }^2$$

Jensen's inequaltiy, 젠센 부등식

아래로 볼록한 함수(convex function) $f$에 대하여 다음 부등식이 성립한다.
$$f(E(X))\le E(f(X))$$

등식이 성렵하는 경우는 $f$가 일차함수인 경우이다. ($f(X)=a+bX$) 

convex function

$0<\lambda <1$일 때, 모든 $x<y$에 대하여 $\lambda f(x)+(1-\lambda )f(y)\ge f(\lambda x+(1-\lambda )y)$가 성립하면 $f(x)$가 convex하다고 한다.

 

Example 1

$f(x)=x^2$이라 하면 $E(X^2)\ge (E(X){)}^2$임을 알 수 있다.

(따라서 분산은 항상 음이 아니다.)

 

Example 2

어떤 실수 $M$에 대하여, $f(x)=max(x,M)$라 하자. 그러면 젠센 부등식에 의하여 $E(max(X,M))\ge max(E(X),M)$임을 알 수 있다.