[CS224w] Training Graph Neural Networks

 

Now we are here

Supervised vs Unsupervised

Supervised Labels on Graphs

Node label $\mathbf{y}_{v}$: citation network에서 어떤 subject가 node에 속하는지

Edge label $\mathbf{y}_{uv}$: transaction network에서 edge가 fraud인지 아닌지

Graph label $\mathbf{y}_{G}$: 분자 그래프에서 신약이 될 가능성 예측

 

Unsupervised Signals on Graphs

그러나 대부분 우리는 그래프 구조는 갖고 있지만 external label이 없는 경우가 많다.

self-supervised learning을 고려한다.

 

Node label $\mathbf{y}_{v}$: Node statisticcs를 이용한다. (clustering coefficient, PageRank, 등)

Edge label $\mathbf{y}_{uv}$: 두 노드의 edge를 숨기고, link prediction

Graph label $\mathbf{y}_{G}$: Graph statistics 이용 (두 그래프가 isomorphic한지)

Loss function

Classification Loss

$i$번째 data point에 대한 $K$-way prediction

Cross Entropy

$N$개의 training example에 대한 Total loss는 다음과 같다.

Total Loss in Classification

Regression Loss

regression task에서 자주 사용되는 loss는 mean squared errer (MSE) 이다. (L2-loss)

Mean Squared Error (MSE)

Total Loss in Regression

반응형

Evaluation Metrics

Regression

기존 ML task에서 사용되는 것과 동일하다. sklearn이 구현한 것을 사용한다.

Evaluation Metrics on Regression

Classification

multi-class 분류에서는 accuracy를 이용하고, 

Multi-class classification accuracy

binary classification에서는 accuracy뿐만 아니라 precision/recall을 사용할 수 있다. 또한 ROC, AUC를 이용한다.

Metrics for Binary Classification