728x90 반응형 스터디/확률과 통계57 [Sampling] Sampling from standard distributions Why sampling is important?bayesian inference는 기댓값은 계산하는 방법이다. (discrete한 경우엔 적분이 아니라 합계가 된다.)\[ \mathbb{E}_{p(\theta | X)}[f(\theta)] = \int f(\theta) p(\theta | X) d\theta \] 그러나 위 정의대로 정확히 계산하는 것은 불가능(exact inference is intractable)한 경우가 많기 때문에, 우리는 Monte Carlo method를 이용하여 기댓값을 근사한다.\[ \mathbb{E}_{p(\theta | X)}[f(\theta)] \approx \cfrac{1}{m}\sum_{s=1}^{m}f(\theta_s), \quad \theta_1, \dots \.. 2023. 9. 25. Measure Theoretic Probability $\sigma$-algebraA non-empty collection $\mathcal{E}$ of subsets of $E$ is called an algebra if it is closed under finite unions and complements. $\mathcal{E}$ is $\sigma$-algebra if it is closed under countable unions and complements. In math:$\quad 1.\ A \in \mathcal{E} \Rightarrow E \setminus A \in \mathcal{E}$$\quad 2.\ A_1, A_2, \dots \in \mathcal{E} \Rightarrow \bigcup_{n \ge 1} A_n \in \ma.. 2023. 9. 6. UMVUE (Uniformly Minimum Variance Unbiased Estimator) Why unbiasness?$T$는 statistics(통계량), $c$를 parameter라 할 때, 다음이 성립한다.\[ MSE = E[(T-c)^2] = V(T) + (E(T) - c)^2 \]이때 $V(T)$는 $c$와 상관없으므로(not depend on $c$) $c=E(T)$이면 최솟값을 얻을 수 있다. $MSE$가 최솟값이 된다는 것은 아니다. ($T$에 의해 MSE의 값은 달라진다.)그러나 $c=E(T)$, 즉 $T$가 unbiased estimator라면 우리는 분산에만 집중할 수 있다. Uniformly Minimum Variance Unbiased Estimator (UMVUE)unbiased estimator $\psi(\theta)$가 모든 $\theta \in \Omega$에 .. 2023. 5. 31. Bootstrapping unknown distribution $F_{\theta}$에 대하여, sampling을 통해 population distribution $F_{\theta}$를 추론해보자. Recall: Empirical Distributionunknown distribution의 CDF를 $F_{\theta}$라 할 때, empirical distribution을 $\hat{F}$라 하고\[ \hat{F}(x) = \cfrac{1}{n}\sum_{i=1}^{n} I_{(\infty, x]}(x_i) \] 우리는 $n$이 커지면 $\hat{F}$가 $F_{\theta}$에 가까워질 것으로 기대한다. $\psi$를 추론하기 위해 $\hat{\psi}=\hat{\psi}(x_1, \dots, x_n)$을 이용하면\[ V_.. 2023. 5. 30. Distribution-Free Methods, Method of Moments, Delta Method 이전까지는 MLE에 기반하여 추정하였다. 그러나 MLE는 어떤 분포를 바탕으로 추정하기 때문에 분포를 모르는 경우에는 적용할 수 없다.대표적으로 적률추정법(Method of Moments Estimation, MME)이 있고 Delta Methods(델타 방법)을 이용하여 추정량의 함수의 형태도 추정할 수 있다. Methods of Moments Estimation (MOM, MME, 적률추정법)적률추정법은 $k$차 적률 $\mu_k = E(X^k)$를 sample moment로 추정하는 방법이다.\[ \hat{\mu_k} = \widehat{E(X^k)} = \cfrac{1}{n}\sum_{i=1}^{n} X_i^k \] parameter가 하나라면 $E(X) = \bar{x}$, 두개라변 $Var(X.. 2023. 5. 27. Power Function of a test 어떤 가설 $H_0: \theta = theta_0$에 대하여 p-value가 $\alpha$보다 작으면 statistically significant하다고 한다. Power Function for two-sided z-test\begin{align*} Power &= P_{\mu}(\text{p-value} z_{1-\frac{\alpha}{2}} \right) \\ &= P\left( \overline{X} \mu_0 + z_{1-\alpha/2}\cfrac{\sigma_0}{\sqrt{n}} \right) \\ &= 1 - \Phi\left( \cfrac{\mu_0 - \mu}{\sigma_0 / \sqrt{n}} + z_{(1-\alpha/2)} \right) + \Phi\left( \cfr.. 2023. 5. 26. 이전 1 2 3 4 5 6 7 ··· 10 다음 728x90 반응형
