728x90 반응형 스터디/확률과 통계57 Testing Hypothesis and p-values Testing Hypothesis and p-value이론, 추측, 가설 등에서는 $\theta$의 값에 대하여 관심이 있다. (보통 $\theta$에 대한 함수로 표현 가능하고 교재에서 $\phi(\theta)$라고 한다.) 주로 \[ H_0:\ \theta = \theta_0 \]과 같이 표기하며 이를 null hypothesis라 한다. 이때 $\theta_0$는 데이터를 얻기 전에 어떤 값으로 특정되어야 한다. 이제 우위 $H_0$가 참일 때 관측된 데이터가 얼마나 unlikely한지 측정할 것이다. Note: $H_0$이 얼마나 likely한지 평가하는 것이 아니다. 얻은 데이터 $s$가 unlikely한지 평가하는 것이다.만일 under $H_0$에서 데이터 $s$가 surprising하다면,.. 2023. 5. 25. Inferences Based on the MLE (MSE, Standard Error, Consistency, Confidence Interval) MSE and Unbiased EstimatorMLE를 통해 추정량 $\hat{\theta}$를 구할 수 있었다. 우리는 이렇게 구한 추정량이 실제 참 값 $\theta$가 되기를 원한다. 이를 평가하기 위한 measure가 필요하다. (to evaluate MLE, which is good and bad) Mean-squared error (MSE, 평균제곱오차)$\theta$에 대한 추정량 $\hat{\theta}$의 평균제곱오차 MSE는 다음과 같다.\[ \text{MSE}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] \]Decomposition of MSE\[ \text{MSE}(\hat{\theta}) = Var(\hat{\theta}) + [\text{Bia.. 2023. 5. 23. Maximum Likelihood Estimation (MLE, 최대우도추정법) Maximum Likelihood Estimator$L(\hat{\theta}(s) | s) \ge L(\theta | s)$를 만족하는 $\hat{\theta}: S \to \Omega$를 maximum likelihood estimator라 하고, $\hat{\theta}(s)$의 값을 maximum likelihood estimate, (MLE)라고 부른다.Example 6.2.1.표본공간은 $S = \{1, 2, 3 \}$이고 파라미터공간은 $\Omega=\{1, 2 \}$인 두 개의 model이 다음과 같다.각 $s$마다 $L$이 가장 클 때를 조사하면 $\hat{\theta}(1)=1,\ \hat{\theta}(2)=2,\ \hat{\theta}(3)=1$Note: MLE는 유일하지 않다. (.. 2023. 5. 17. Likelihood function, Sufficient Statistics, Minimum Sufficient Statistics (가능도함수, 충분통계량, 최소충분통계량) Likelihood Functionlikelihood inference는 관찰한 데이터 $s$와 Statistical Model(통계모델) $\{P_{\theta}: \theta \in \Omega \}$ 을 이용한 추정법이다. 일반적으로 pmf, pdf의 경우 각각 $P_{\theta},\ f_{\theta}$로 표기하지만 포스팅에서는 맥락에 맞추어 $f_{\theta}$로 통일한다. likelihood function은 다음과 같이 정의한다.\[ L(\theta | s) = f_{\theta}(s) \] $f_{\theta_1}(s) > f_{\theta_2}(s)$라면, 데이터 $s$는 $\theta = \theta_1$일 때 더 관측될 가능성(믿음)이 높다고 한다. $S = \{ 1, 2, \do.. 2023. 5. 16. Ch5. Statistical Inference Why do we need statistics?지금까지 통계 이론을 많이 배웠다. 그렇다면 통계적 방법이 유용한 경우는 언제일까? 스탠포드 심장 이식 연구를 예시로 하여 생각을 해보자. 이 논문에는 심장 이식 프로그램의 성공 여부를 논하고 있다. 우리는 심장 이식 수술을 받은 환자가 그렇지 않은 환자보다 더 오래 사는지 관심을 가질 것이다. 그러나 이는 수술을 받은 환자와 수술을 받지 않은 환자 모두 사망할 때까지 기다려야 알 수 있다. 대신에, 심장 이식 수술을 받은 환자의 수명을 비교할 수 있다. 한가지 접근 방법은 심장 이식 수술을 받은 환자와, 그렇지 않은 환자의 수명 분포가 있다고 가정하는 것이다. 이식을 받은 집단을 $T$(Transplant)라 하고 수술을 받지 않은 집단을 대조군이라 하여 .. 2023. 5. 8. 정규분포와 관련된 이론: 카이제곱분포, 표본분산, t-분포, F-분포 (Normal Distribution Theory: Chi-squared distribution, sample variance, t-distribution, F-distribution) Normal Distribution Theory정규분포를 따르는 2개의 확률변수의 합은 정규분포임을 알 수 있었다.이제 이를 확장해서 $n$개의 확률변수의 합도 정규분포를 따르는지 알아보자.$n$개의 확률변수 $X_i \sim N(\mu_i, \sigma_i^2)$의 합을 $Y=(\sum_i a_iX_i)+b$라 하면\[ Y \sim \left( (\sum_i a_i \mu_i)+b,\ \sum_i a_i^2\sigma_i^2) \right) \]Proofmgf를 이용하여 증명한다.확률변수의 합의 mgf는 각 확률변수의 mgf의 곱과 같으므로$M_Y(t) = \Pi_i M_{X_i}(t) = e^{bt} \cdot \text{exp}[\sum_i(a_i\mu_i)t + \Pi_i(a_i\sigma_i)^.. 2023. 4. 26. 이전 1 2 3 4 5 6 7 8 ··· 10 다음 728x90 반응형
