본문 바로가기
728x90
반응형

sampling9

[Sampling] Rejection Sampling Rejection SamplingIntroduction이제 샘플링 할 분포가 간단한 분포함수가 아니고 매우 복잡한 분포라고 하자. 심지어 적분도 쉽지 않다면 정규화 상수도 구할 수 없다.베이지안으로 예를 들면, posterior를 계산할 때 이런일이 발생한다.\[ p(\theta | X) = \cfrac{p(X | \theta) p(\theta)}{p(X)} \]이때 분모의 $p(X)$는 marginal을 구하는 것인데 $p(X) = \int p(X, \theta) d \theta$를 구하는 것은 많은 경우에 불가능하다. 일반적인 notation으로, 우리가 알고 있는 분포(PDF가 아니어도 된다.)를 $\tilde{p}(x)$라 하고, 적분값이 $1$이 되도록하는 정규화상수를 $Z$라 한다. 이때 ta.. 2023. 9. 26.
[Sampling] Sampling from standard distributions Why sampling is important?bayesian inference는 기댓값은 계산하는 방법이다. (discrete한 경우엔 적분이 아니라 합계가 된다.)\[ \mathbb{E}_{p(\theta | X)}[f(\theta)] = \int f(\theta) p(\theta | X) d\theta \] 그러나 위 정의대로 정확히 계산하는 것은 불가능(exact inference is intractable)한 경우가 많기 때문에, 우리는 Monte Carlo method를 이용하여 기댓값을 근사한다.\[ \mathbb{E}_{p(\theta | X)}[f(\theta)] \approx \cfrac{1}{m}\sum_{s=1}^{m}f(\theta_s), \quad \theta_1, \dots \.. 2023. 9. 25.
확률변수의 수렴과 큰 수의 법칙 (Sampling, Convergence, Law of Large Numbers) Sampling Distributions (표본 분포)같은 분포에서 독립적으로 추출한 확률변수 $X_1, \dots, X_n$ (i.i.d)에 대하여 새로운 확률변수 $Y$를 도입하자. 이때 어떤 함수 $h$(예를 들어, $h$는 평균이나 분산과 같은 함수가 가능하다.)의 형태일 수 있다.\[ Y = h(X_1, \dots, X_n) \]이때 $Y$의 분포를 sampling distribution(표본 분포)라고 부른다. 확률변수 $Y$는 $n$에 의존적이므로 우리는 확률변수로 이루어진 수열을 생각해볼 수 있다. 즉 $Y_1, Y_2, \dots, Y_n, \dots$ 말이다. 우리는 $n$이 커짐에 따라 $Y_n$이 $Y$로 수렴하기를 바란다.  4.5에서 배울 내용인 몬테카를로 시뮬레이션을 통해 $Y.. 2023. 4. 23.
728x90
반응형

티스토리툴바