본문 바로가기
728x90
반응형

분류 전체보기268

[CS224w] Graph Augmentation Introduction지금까지  input graph와 computational graph가 같다는 가정이 필요했다.그러나 여러 이유로 인해 이러한 가정을 유지할 수 없다. Feature levelfeature가 부족 → feature augmentation Structure leveltoo sparse → message passing이 비효율적 → add virtual node/edgetoo dense → message passing이 too costly → sample neighbors when doing message passingtoo large → GPU로도 부족한 계산량 → sample subgraphs to compute embeddings Feature AugmentationCase 1. .. 2023. 4. 24.
확률변수의 수렴과 큰 수의 법칙 (Sampling, Convergence, Law of Large Numbers) Sampling Distributions (표본 분포)같은 분포에서 독립적으로 추출한 확률변수 $X_1, \dots, X_n$ (i.i.d)에 대하여 새로운 확률변수 $Y$를 도입하자. 이때 어떤 함수 $h$(예를 들어, $h$는 평균이나 분산과 같은 함수가 가능하다.)의 형태일 수 있다.\[ Y = h(X_1, \dots, X_n) \]이때 $Y$의 분포를 sampling distribution(표본 분포)라고 부른다. 확률변수 $Y$는 $n$에 의존적이므로 우리는 확률변수로 이루어진 수열을 생각해볼 수 있다. 즉 $Y_1, Y_2, \dots, Y_n, \dots$ 말이다. 우리는 $n$이 커짐에 따라 $Y_n$이 $Y$로 수렴하기를 바란다.  4.5에서 배울 내용인 몬테카를로 시뮬레이션을 통해 $Y.. 2023. 4. 23.
[경제용어] ISM과 PMI 지수 ISM 보고서 Institute for supply management, 줄여서 ISM이라 부르는 미국 공급자 관리 협회에서 매달 정기적으로 제조업, 서비스, 보고서를 공개한다. 미국의 제조업 부문의 건전성에 대한 정보를 제공하기에 투자자들, 정책 입안자 등 많은 사람들이 중요하게 보는 지표이다. 설문조사에 기반한 보고서로, 신규주문, 생산, 고용, 공급업체 납품, 재고, 가격, 수출 주문, 수입 주문 등 다양한 주제를 다룬다. 그리고 그 결과를 바탕으로 PMI 지수를 발표한다. PMI, Purchasing Manager Inde, 구매 관리자 지수 https://www.ismworld.org/supply-management-news-and-reports/reports/ism-report-on-busin.. 2023. 4. 22.
[Data Science] Missing Values 데이터를 살펴보면 결측치가 있는 경우를 종종 볼 수 있고 그 원인도 다양하다.센서가 고장나서 데이터 수집이 중단되었거나, (설문조사의 경우) 무응답이나 응답 거부를 하거나, object(instance, record)에 모두 대응되지않는 attribute가 있는 경우(임신 여부)가 있을 수 있다. 결측치를 0으로 대체하거나 평균/중앙값으로 대체할 수 있다.그러나 결측치는 항상 결측값이 아니다. 경우에 따라 그 값을 추정할 수 있다.이전에 결측값의 종류를 파악해보자.  Types of Missing Values결측치 종류에 대하여 설명하기 전에 몇가지 notation을 정리하겠다.$X_{obs}$: 우리의 관심이 되는 변수(attribute)의 관측 값. 이 값이 존재한다면 true value를 $X$라 .. 2023. 4. 21.
[Data Science] Chi-square test. 카이제곱검정 카이제곱검정목적동질성 검정과 독립성 검정 두 가지 검정이 가능하다. 동질성 검정: 데이터가 이항분포/정규분포와 동일한지 검정.독립성 검정: 두개 이상의 데이터가 서로 독립인지 검정. 이번 포스팅은 독립성 검정에 대하여 다룬다. 독립성 검정범주형 데이터(categorical attribute)에 대하여 두 데이터가 서로 독립인지 확인하는 검정이다.가설 검정$H_0$: 두 데이터는 독립이다. (실제 세계에서 서로 다른 두 변수는 독립으로 보는 것이 일반적이다.)$H_a$: 두 데이터는 독립이 아니다. (서로 상관성이 존재한다.) 검정 순서1. 두 범주형 데이터의 contigency table을 이용하여 Observed value($O_i$)와 Expected value($E_i$)를 구한다.2. 검정통계량 .. 2023. 4. 20.
GAT, GraphSAGE GAT, Graph Attention NetworksIdeaGCN의 경우, 모든 이웃 노드들로부터 동일한 가중치를 갖는다.그렇지만 경우에 따라 이웃 노드를로부터 얻는 정보의 가중치가 다를 수 있다. (많은 경우가 그럴 것이다.)이제 이웃 노드들로부터 얻는 임베딩 $\mathbf{h}_u^{l}$에 가중치 $\alpha{vu}$를 곱한다.이 수식은 GCN을 보다 일반화 한것으로 볼 수 있다.GCN이라면 $\alpha{vu} \cfrac{1}{|N(v)|}$ 으로 간주할 수 있다.Not all neighbors are equally important !Computing the attention weight노드 $u$가 노드 $v$에 메시징을 할 때, 그 중요도를 $e_{vu}$라 하고 attention we.. 2023. 4. 19.
728x90
반응형

티스토리툴바