본문 바로가기
728x90
반응형

Jensen's inequality3

Applications of Inequalities (여러가지 부등식과 몇 가지 활용) Inequality in mathematical application: Triangle, Cauchy-Schwartz, Young's, Höolder's, Jensen's$1+x \le e^x \ \forall x \in \mathbb{R}$ $f(x)=e^2 - x - 1$이라 하고 모든 실수에서 $f(x) \ge 0$임을 보인다. $f'(x)=e^x-1$이고 $f''(x)=e^x$이므로 convex이므로 $x=0$에서 최솟값을 갖는다.$f(x)$의 최솟값이 $f(0)=0$이므로 $f(x) \ge f(0) = 0$이다.$(1-x)^n \ge 1-nx \ \text{for} \ 0 \le x \le 1$$f(x)=(1-x)^n - (1-nx)$이라 하고 $[0,1]$에서 $f(x) \ge 0$임을 보인다.. 2024. 4. 20.
[Bayesian] Evidence lower bound (ELBO) and EM-algorithm Evidence lower bound (ELBO)파라미터가 $\theta$이고 latent variable이 $z$인 확률모델을 생각해보자. $z$를 적분하여 marginal을 구할 수 있다.\[ p(x; \theta) = \int p(x, z; \theta) dz \] non-Bayesian modeling에서는 log-likelihood를 최대로 만드는 $\theta^*$를 찾는데 관심을 갖는다. 즉\begin{align} \theta^* &= \underset{\theta}{\mathrm{argmax}} \log p(x;\theta) \\ &= \underset{\theta}{\mathrm{argmax}} \log \int p(x, z; \theta) dz \end{align} 그러나 만일 적분이 .. 2023. 11. 11.
확률에서의 부등식, Inequality (Markov's, Chebychev's, Cauchy-Schwartz, Jensen's, 마르코프, 체비셰프, 코시-슈바르츠, 젠센 부등식) 확률(특히 기댓값)과 관련된 부등식들이 많이 알려져 있다. 이중 4가지 부등식에 대하여 다룬다.각 부등식 마다 확률변수의 정의나 범위가 다르므로 주의한다.Markov's inequality, 마르코프 부등식음이 아닌 확률변수 $X$(즉, $X \ge 0$)와 양의 실수 $a$에 대하여 다음 부등식이 성립한다.\[ P(X \ge a) \le \cfrac{E(a)}{a} \quad X \ge 0, a > 0 \]마르코프 부등식 증명\begin{align*} P(X \ge a) &= \int_a^{\infty}f(x) \, dx \\ &\le \int_a^{\infty} \cfrac{x}{a} f(x) \, dx \quad x \in (a, \infty) \Leftrightarrow \cfrac{x}{a} \.. 2023. 4. 13.
728x90
반응형