728x90 반응형 GNN20 [CS224w] Theory of GNNs (1) - Local Neighborhood Structures, Computational Graph Local Neighborhood Structures같은 색의 노드는 같은 feature를 갖는다고 하자. 위의 경우 5개의 노드가 동일한 feature를 가진 경우이다.1번 노드와 4번 노드는 degree가 2로 동일하지만, neighborhood structure는 다르다.1번 노드의 이웃노드들은 degree=2지만, 4번 노드의 이웃노드들은 degree가 1 또는 3으로 다르기 때문이다. 1번 노드와 2번 노드는 neighborhood structure가 동일하다.모두 이웃 노드의 degree가 2와 3으로 동일하다. Can GNN node embeddings distinguish differenct node's local neighborhood structures?Computational Grap.. 2023. 6. 14. [CS224w] Dataset Split Why Splitting Graphs is Specialimage dataset을 생각해보자. 각 data point는 하나의 image이다. 5번째 image가 1번째 image에 영향을 주지 않는다.그러나 graph에서는 다른다. 각 node는 독립이 아니라 다른 node에 영향을 줄 수 있다. (message passing을 생각해보자) Transductive settinginput graph를 전체 데이터셋으로 간주한다. 예를 들어 training time에는 전체 그래프를 이용하여 embedding을하고, node 1과 node 2로 label을 학습한다.validation time에는 전체 그래프를 이용하여 embedding을 하고 node3과 node4 label로 evaluate한다.따라서.. 2023. 5. 29. [CS224w] Training Graph Neural Networks Supervised vs UnsupervisedSupervised Labels on GraphsNode label $\mathbf{y}_{v}$: citation network에서 어떤 subject가 node에 속하는지Edge label $\mathbf{y}_{uv}$: transaction network에서 edge가 fraud인지 아닌지Graph label $\mathbf{y}_{G}$: 분자 그래프에서 신약이 될 가능성 예측 Unsupervised Signals on Graphs그러나 대부분 우리는 그래프 구조는 갖고 있지만 external label이 없는 경우가 많다.self-supervised learning을 고려한다. Node label $\mathbf{y}_{v}$: Node stati.. 2023. 5. 24. [CS224w] Prediction with GNNs 지금까지 공부한 내용은 그래프, GNN, Node embedding이다.이렇게 얻은 결과는 node embedding 집합이다. $\{ \mathbf{h}_v^{(L)}, v \in G \}$ 이제 GNN으로 Prediction Task를 할 것이다.크게 3가지 prediction이 있고 node-level, edge-level, graph-level prediction으로 나눌 수 있다.Node-level predictionnode-level prediction의 경우, 노드 임베딩을 직접 이용할 수 있다.$L$개의 layer를 가진 GNN을 통과하여 $d$차원 노드임베딩을 얻을 수 있다,\[ \{ \mathbf{h}_v^{(L)} \in \mathbb{R}^d, \forall v \in G \} \].. 2023. 4. 26. GAT, GraphSAGE GAT, Graph Attention NetworksIdeaGCN의 경우, 모든 이웃 노드들로부터 동일한 가중치를 갖는다.그렇지만 경우에 따라 이웃 노드를로부터 얻는 정보의 가중치가 다를 수 있다. (많은 경우가 그럴 것이다.)이제 이웃 노드들로부터 얻는 임베딩 $\mathbf{h}_u^{l}$에 가중치 $\alpha{vu}$를 곱한다.이 수식은 GCN을 보다 일반화 한것으로 볼 수 있다.GCN이라면 $\alpha{vu} \cfrac{1}{|N(v)|}$ 으로 간주할 수 있다.Not all neighbors are equally important !Computing the attention weight노드 $u$가 노드 $v$에 메시징을 할 때, 그 중요도를 $e_{vu}$라 하고 attention we.. 2023. 4. 19. [GCN] Graph Convolutional Network Ideanode의 neighborhood는 computation graph를 정의한다.message는 relational information과 attribute information 모두 포함할 수 있다.Neighborhood Aggregationnode는 이웃 노드의 정보를 neural network를 통해 정보를 집계한다. 모든 노드는 이웃 노드로부터 정의된다.그렇다면 어떤 Neural Network를 사용할 것인가? 어떻게 집계할 것인가?GCN, Graph Convolutional NetworkBasic Approach어떤 neural network를 사용할 것인가? → weight matrix를 사용하는 기본형태. $\mathbf{B}$와 $\mathbf{W}$를 사용할 것이다.어떤 종류의 집계.. 2023. 4. 18. 이전 1 2 3 4 다음 728x90 반응형
