728x90 반응형 스터디/확률과 통계56 Measure Theoretic Probability $\sigma$-algebraA non-empty collection $\mathcal{E}$ of subsets of $E$ is called an algebra if it is closed under finite unions and complements. $\mathcal{E}$ is $\sigma$-algebra if it is closed under countable unions and complements. In math:$\quad 1.\ A \in \mathcal{E} \Rightarrow E \setminus A \in \mathcal{E}$$\quad 2.\ A_1, A_2, \dots \in \mathcal{E} \Rightarrow \bigcup_{n \ge 1} A_n \in \ma.. 2023. 9. 6. UMVUE (Uniformly Minimum Variance Unbiased Estimator) Why unbiasness?$T$는 statistics(통계량), $c$를 parameter라 할 때, 다음이 성립한다.\[ MSE = E[(T-c)^2] = V(T) + (E(T) - c)^2 \]이때 $V(T)$는 $c$와 상관없으므로(not depend on $c$) $c=E(T)$이면 최솟값을 얻을 수 있다. $MSE$가 최솟값이 된다는 것은 아니다. ($T$에 의해 MSE의 값은 달라진다.)그러나 $c=E(T)$, 즉 $T$가 unbiased estimator라면 우리는 분산에만 집중할 수 있다. Uniformly Minimum Variance Unbiased Estimator (UMVUE)unbiased estimator $\psi(\theta)$가 모든 $\theta \in \Omega$에 .. 2023. 5. 31. Bootstrapping unknown distribution $F_{\theta}$에 대하여, sampling을 통해 population distribution $F_{\theta}$를 추론해보자. Recall: Empirical Distributionunknown distribution의 CDF를 $F_{\theta}$라 할 때, empirical distribution을 $\hat{F}$라 하고\[ \hat{F}(x) = \cfrac{1}{n}\sum_{i=1}^{n} I_{(\infty, x]}(x_i) \] 우리는 $n$이 커지면 $\hat{F}$가 $F_{\theta}$에 가까워질 것으로 기대한다. $\psi$를 추론하기 위해 $\hat{\psi}=\hat{\psi}(x_1, \dots, x_n)$을 이용하면\[ V_.. 2023. 5. 30. Distribution-Free Methods, Method of Moments, Delta Method 이전까지는 MLE에 기반하여 추정하였다. 그러나 MLE는 어떤 분포를 바탕으로 추정하기 때문에 분포를 모르는 경우에는 적용할 수 없다.대표적으로 적률추정법(Method of Moments Estimation, MME)이 있고 Delta Methods(델타 방법)을 이용하여 추정량의 함수의 형태도 추정할 수 있다. Methods of Moments Estimation (MOM, MME, 적률추정법)적률추정법은 $k$차 적률 $\mu_k = E(X^k)$를 sample moment로 추정하는 방법이다.\[ \hat{\mu_k} = \widehat{E(X^k)} = \cfrac{1}{n}\sum_{i=1}^{n} X_i^k \] parameter가 하나라면 $E(X) = \bar{x}$, 두개라변 $Var(X.. 2023. 5. 27. Power Function of a test 어떤 가설 $H_0: \theta = theta_0$에 대하여 p-value가 $\alpha$보다 작으면 statistically significant하다고 한다. Power Function for two-sided z-test\begin{align*} Power &= P_{\mu}(\text{p-value} z_{1-\frac{\alpha}{2}} \right) \\ &= P\left( \overline{X} \mu_0 + z_{1-\alpha/2}\cfrac{\sigma_0}{\sqrt{n}} \right) \\ &= 1 - \Phi\left( \cfrac{\mu_0 - \mu}{\sigma_0 / \sqrt{n}} + z_{(1-\alpha/2)} \right) + \Phi\left( \cfr.. 2023. 5. 26. Testing Hypothesis and p-values Testing Hypothesis and p-value이론, 추측, 가설 등에서는 $\theta$의 값에 대하여 관심이 있다. (보통 $\theta$에 대한 함수로 표현 가능하고 교재에서 $\phi(\theta)$라고 한다.) 주로 \[ H_0:\ \theta = \theta_0 \]과 같이 표기하며 이를 null hypothesis라 한다. 이때 $\theta_0$는 데이터를 얻기 전에 어떤 값으로 특정되어야 한다. 이제 우위 $H_0$가 참일 때 관측된 데이터가 얼마나 unlikely한지 측정할 것이다. Note: $H_0$이 얼마나 likely한지 평가하는 것이 아니다. 얻은 데이터 $s$가 unlikely한지 평가하는 것이다.만일 under $H_0$에서 데이터 $s$가 surprising하다면,.. 2023. 5. 25. 이전 1 2 3 4 5 6 7 ··· 10 다음 728x90 반응형
