728x90 반응형 EM-algorithm2 [Bayesian] Evidence lower bound (ELBO) and EM-algorithm Evidence lower bound (ELBO)파라미터가 $\theta$이고 latent variable이 $z$인 확률모델을 생각해보자. $z$를 적분하여 marginal을 구할 수 있다.\[ p(x; \theta) = \int p(x, z; \theta) dz \] non-Bayesian modeling에서는 log-likelihood를 최대로 만드는 $\theta^*$를 찾는데 관심을 갖는다. 즉\begin{align} \theta^* &= \underset{\theta}{\mathrm{argmax}} \log p(x;\theta) \\ &= \underset{\theta}{\mathrm{argmax}} \log \int p(x, z; \theta) dz \end{align} 그러나 만일 적분이 .. 2023. 11. 11. [Clustering] Model-based Methods, Expectation Maximization (EM) Model-Based Clustering주어진 데이터를 만족하는 수학적 모델링을 최적화하는 방법.기본 가정: 데이터는 여러 확률 분포의 혼합이다. (mixture of underlying probability distribution) Clustering에서는 Expectation Maximization(EM, 기댓값 최대화)가 대표적인 model-based clustering이다.Expectation Maximization (1977)Overview$N$개의 $\mathbb{R}^2$ 데이터 $\mathbf{X}$가 주어졌을 때, $K$개의 Gaussian 분포의 파라미터 $\mathbf{\Theta}$를 구한다.\[ \mathbf{X} = (x_1, x_2, \dots, x_N), \quad \math.. 2023. 5. 19. 이전 1 다음 728x90 반응형
