728x90 반응형 분류 전체보기250 [Data Science] K-Nearest Neighbor (k-NN, Lazy Learning, k-최근접 이웃) Lazy vs Eager Learning Lazy Learning (e.g. instance-based learining): training data를 저장하고 new data(test data)를 입력받을 때 classifiy한다. Eager Learning: new data(test data)를 입력받기전에 classification model을 먼저 구성한다. 이전에 다룬 decision tree, naive bayes classifier는 eager learning이다. Efficiency Lazy learning은 training time은 짧지만 predicting에서 더 많은 시간이 걸린다. Accuracy Lazy Learning은 더 복잡한 결정 공간(more complex decisio.. 2023. 6. 10. [Clustering] Cluster Evaluation (silhouette coefficient, proximity matrix, clustering tendency) Measures of Cluster ValidityUnsupervised measure, Internal indexgoodness of a clustering structure w/o respect to external informationCluster Cohesion (compactness, tighness)Cluster Seperation (isolation) Supervised measure, External indexwhich cluster labels match externally supplied class labelsEntropy Relative measureCompare two different clustering resultsunsupervised/supervised measure 모두 적.. 2023. 6. 3. UMVUE (Uniformly Minimum Variance Unbiased Estimator) Why unbiasness?$T$는 statistics(통계량), $c$를 parameter라 할 때, 다음이 성립한다.\[ MSE = E[(T-c)^2] = V(T) + (E(T) - c)^2 \]이때 $V(T)$는 $c$와 상관없으므로(not depend on $c$) $c=E(T)$이면 최솟값을 얻을 수 있다. $MSE$가 최솟값이 된다는 것은 아니다. ($T$에 의해 MSE의 값은 달라진다.)그러나 $c=E(T)$, 즉 $T$가 unbiased estimator라면 우리는 분산에만 집중할 수 있다. Uniformly Minimum Variance Unbiased Estimator (UMVUE)unbiased estimator $\psi(\theta)$가 모든 $\theta \in \Omega$에 .. 2023. 5. 31. Bootstrapping unknown distribution $F_{\theta}$에 대하여, sampling을 통해 population distribution $F_{\theta}$를 추론해보자. Recall: Empirical Distribution unknown distribution의 CDF를 $F_{\theta}$라 할 때, empirical distribution을 $\hat{F}$라 하고 \[ \hat{F}(x) = \cfrac{1}{n}\sum_{i=1}^{n} I_{(\infty, x]}(x_i) \] 우리는 $n$이 커지면 $\hat{F}$가 $F_{\theta}$에 가까워질 것으로 기대한다. $\psi$를 추론하기 위해 $\hat{\psi}=\hat{\psi}(x_1, \dots, x_n)$을 이용하면 \[.. 2023. 5. 30. [CS224w] Dataset Split Why Splitting Graphs is Special image dataset을 생각해보자. 각 data point는 하나의 image이다. 5번째 image가 1번째 image에 영향을 주지 않는다. 그러나 graph에서는 다른다. 각 node는 독립이 아니라 다른 node에 영향을 줄 수 있다. (message passing을 생각해보자) Transductive setting input graph를 전체 데이터셋으로 간주한다. 예를 들어 training time에는 전체 그래프를 이용하여 embedding을하고, node 1과 node 2로 label을 학습한다. validation time에는 전체 그래프를 이용하여 embedding을 하고 node3과 node4 label로 evaluate한다.. 2023. 5. 29. Distribution-Free Methods, Method of Moments, Delta Method 이전까지는 MLE에 기반하여 추정하였다. 그러나 MLE는 어떤 분포를 바탕으로 추정하기 때문에 분포를 모르는 경우에는 적용할 수 없다.대표적으로 적률추정법(Method of Moments Estimation, MM.. 2023. 5. 27. 이전 1 ··· 15 16 17 18 19 20 21 ··· 42 다음 728x90 반응형
