728x90 반응형 bayesian learning4 [Sampling] Markov Chain Monte Carlo (MCMC) (3) - Gibbs sampling Gibbs SamplingGibbs sampling은 MCMC 기법 중에서 Metropolis-Hastings 알고리즘의 특수한 형태이다.확률변수가 다음과 같을 때 사용할 수 있다.$x = [x_1, x_2, \dots, x_d]^\top$이고 target distribution이 $p(x)$일 때 다음을 만족하면 Gibbs sampling을 적용할 수 있다.\[ x_i \sim p(x_i | x_1, \dots, x_{i-1}, x_{i+1}, \dots, x_d) \]$x_i$가 $x \setminus x_i$ condition에서 샘플링되는 조건이다.Gibbs sampling algorithm랜덤하게 $x^{(1)}$를 초기화한다.for $t=1, \dots$ do $x^{(t+1)} = x^.. 2023. 10. 14. [Sampling] Rejection Sampling Rejection SamplingIntroduction이제 샘플링 할 분포가 간단한 분포함수가 아니고 매우 복잡한 분포라고 하자. 심지어 적분도 쉽지 않다면 정규화 상수도 구할 수 없다.베이지안으로 예를 들면, posterior를 계산할 때 이런일이 발생한다.\[ p(\theta | X) = \cfrac{p(X | \theta) p(\theta)}{p(X)} \]이때 분모의 $p(X)$는 marginal을 구하는 것인데 $p(X) = \int p(X, \theta) d \theta$를 구하는 것은 많은 경우에 불가능하다. 일반적인 notation으로, 우리가 알고 있는 분포(PDF가 아니어도 된다.)를 $\tilde{p}(x)$라 하고, 적분값이 $1$이 되도록하는 정규화상수를 $Z$라 한다. 이때 ta.. 2023. 9. 26. [Bayesian] Exponential Family & Conjugate Priors (지수족, 켤레사전분포) Exponential Family확률변수 $X$의 확률밀도함수(또는 확률질량함수)가 다음을 만족하면, $X$는 지수족이라고 한다.\[ p(x|\eta) = \exp( T(x)^\top \eta - \mathbb{1}^\top A(\eta) - B(x) ) \]이때 $T(x)$는 충분통계량, $\eta$는 natural parameter, $A(\eta)$는 log-partition function, $B(x)$는 base measure 이다.Example 1: Bernoulli distribution베르누이 분포의 확률질량함수는 다음과 같다.\[ p(x|\theta) = \theta^{x} (1-\theta)^{1-x} = \exp\left(x \log \cfrac{\theta}{1-\theta} \ri.. 2023. 9. 13. [Bayesian] Frequentism vs Bayesianism (빈도주의 vs 베이지안) Introduction to Bayesian 통계적 방법으로 빈도주의(frequentism)과 베이지안(bayesianism)이 있고 이 둘의 차이를 정리해보았다. 빈도주의 관점 (Frequentism)확률은 반복된 시행으로 일어나는 사건의 횟수이다.파라미터 $\theta$는 고정되어있기에 $\theta$의 횟수를 정의하는 것은 의미가 없다.대신 $X$에 대한 반복 시행에 관심이 있다.베이지안 관점 (Bayesianism)확률은 사건의 불확실성을 의미한다. (quantification of uncertainty)따라서 파라미터 $\theta$의 확률(불확실성)을 정의하는 것이 자연스럽다. $p(\theta)$데이터 $X$가 관찰된 이후의 $\theta$의 확률(불확실성)에 관심이 있다. 이를 사후확률 p.. 2023. 8. 29. 이전 1 다음 728x90 반응형
