확률에서의 부등식, Inequality (Markov's, Chebychev's, Cauchy-Schwartz, Jensen's, 마르코프, 체비셰프, 코시-슈바르츠, 젠센 부등식)

 

 

확률(특히 기댓값)과 관련된 부등식들이 많이 알려져 있다. 이중 4가지 부등식에 대하여 다룬다.

각 부등식 마다 확률변수의 정의나 범위가 다르므로 주의한다.

Markov's inequality, 마르코프 부등식

음이 아닌 확률변수 $X$(즉, $X \ge 0$)와 양의 실수 $a$에 대하여 다음 부등식이 성립한다.

\[ P(X \ge a) \le \cfrac{E(a)}{a} \quad X \ge 0, a > 0 \]

마르코프 부등식 증명

\begin{align*} P(X \ge a) &= \int_a^{\infty}f(x) \, dx \\ &\le \int_a^{\infty} \cfrac{x}{a} f(x) \, dx \quad x \in (a, \infty) \Leftrightarrow \cfrac{x}{a} \in (1, \infty)  \\ &\le \int_0^{\infty}\cfrac{x}{a} f(x) \, dx \\ &= \cfrac{1}{a} \int_0^{x} xf(x) \, dx \\ &= \cfrac{1}{a}E(X) \end{align*}

 

마르코프 부등식의 의미

음이 아닌 확률변수의 확률은 기댓값이 상한을 갖는다는 의미를 갖는다.

Chebychev's inequality, 체비셰프 부등식

Note: 영어권 표기법이 매우 다양하고, Chebyshev(체비쇼프)가 좀 더 정확한 발음인 것으로 보인다.

확률변수 $Y$가 평균 $\mu_Y$를 갖고, 양의 실수 $a$에 대하여 다음 부등식이 성립한다.

\[ P(|Y - \mu_Y| \ge a) \le \cfrac{\text{Var}(Y)}{a^2} \]

체비셰프 부등식 증명

$X = |Y - \mu_Y|$라 하면 마르코프 부등식에 의해

\begin{align*} P(X \ge a) &= P(|Y - \mu_Y| \ge a) \\ &= P(|Y - \mu_Y|^2 \ge a^2) \\ &\le \cfrac{E(|Y-\mu_Y|^2)}{a^2} \quad (\because \text{Markov's inequality}) \\ &= \cfrac{\text{Var(Y)}}{a^2} \end{align*}

 

체비셰프 부등식의 상한

$a=\sigma$를 대입하면 이 부등식은 $P(|X-\mu| \ge \sigma) \le \cfrac{\text{Var}(X)}{\sigma^2}=1$이다. 즉 이 부등식은 tight하지 않다. (범위가 느슨하다)

 

체비셰프 부등식의 활용

하지만 $a = k\sigma$라 하면 다음의 부등식을 얻을 수 있다.

\begin{align*} P(|X - \mu| \ge a) &\le \left( \cfrac{\sigma}{a} \right)^2 \\ \Leftrightarrow P(|X-\mu| \ge k\sigma) &\le \cfrac{1}{k^2} \end{align*}

즉, $X$의 분포를 모르더라도, $X$가 $\mu \pm k\sigma$ 내에 있을 확률의 상한값을 구할 수 있다.

 

Example

$X \sim N(\mu, \sigma^2)$일 때, $P(|X -\mu| \ge 2\sigma) \le 1/4=0.25$

반응형

Cauchy-Schwartz inequality, 코시-슈바르츠 부등식

임의의 확률변수 $X, Y$가 분산이 $0$이 아닐 때, 다음 부등식이 성립한다.
\[ |\text{Cov}(X, Y)| \le \sqrt{\text{Var}(X) \text{Var}(Y)} \]

코시-슈바르츠 부등식의 의미

$X$와 $Y$의 분산이 작다면, 공분산 $\text{Cov}(X, Y)$ 역시 작을 수밖에 없다는 뜻이다.

 

선형대수에서의 코시-슈바르츠 부등식

두 벡터 $\mathbf{v}, \mathbf{w} \in \mathbb{R}^n$에 대하여

\[ |\mathbf{v} \cdot \mathbf{w}|^2 \le \Vert \mathbf{v} \Vert^2 \Vert \mathbf{w} \Vert^2 \]

Jensen's inequaltiy, 젠센 부등식

아래로 볼록한 함수(convex function) $f$에 대하여 다음 부등식이 성립한다.
\[ f(E(X)) \le E(f(X)) \]

등식이 성렵하는 경우는 $f$가 일차함수인 경우이다. ($f(X) = a + bX$) 

convex function

$0 < \lambda < 1$일 때, 모든 $x < y$에 대하여 $\lambda f(x) + (1-\lambda)f(y) \ge f(\lambda x + (1-\lambda)y)$가 성립하면 $f(x)$가 convex하다고 한다.

 

Example 1

$f(x)=x^2$이라 하면 $E(X^2) \ge (E(X))^2$임을 알 수 있다.

(따라서 분산은 항상 음이 아니다.)

 

Example 2

어떤 실수 $M$에 대하여, $f(x) = \max(x, M)$라 하자. 그러면 젠센 부등식에 의하여 $E(\max(X, M)) \ge \max(E(X), M)$임을 알 수 있다.