728x90 반응형 Graph Neural Networks4 [CS224W] GNN for RecSys (4) - LightGCN LightGCN: Simplifying and Powering Graph Convolution Network for RecommendationMotivationshallow embeddings은 그 자체로 꽤 좋은 표현력(expressive)를 가진다.노드 개수를 $N$, 임베딩 차원을 $D$라 하면- shallow embedding: $O(ND)$- GNN: O(D^2)GNN의 파라미터는 충분하지 않을 수 있다그러면 GNN으로 NGCF의 파라미터를 줄일 수 있을까? YES!게다가 단순화(simplification)은 추천 성능을 향상시킬 수 있다. LightGCN의 idea는 크게 3가지이다.- 이분그래프에서의 인접행렬(adjacency matrix)- GCN의 행렬 곱셈(matrix formulati.. 2024. 11. 9. [CS224W] GNN for RecSys (3) - NGCF (Neural Graph Collaborative Filtering) Neural Graph Collaborative Filtering (NGCF)Overview기존의 collaborative filtering (CF)은 shallow embedding을 이용하기 때문에- 그래프 구조를 반영하지 못함- 모델 학습이 high-order graph structure를 포착하지 않음위 그림을 보자.왼쪽 그림은 3명의 user와 5개의 item의 상호작용이 있는 이분그래프이다.$u_1$이 target user라 하자. 기존 CF은 $u_1$와 직접 연결된 $i_1, i_2, i_3$의 item만 포착한다.그런데 $i_2$는 $u_2$와도 연결되어 있고, $i_3$은 $u_3$와도 연결되어있다.그러나 shallow embedding은 이러한 관계는 포착하지 못한다.실제 user-i.. 2024. 11. 8. [CS224w] Theory of GNNs (1) - Local Neighborhood Structures, Computational Graph Local Neighborhood Structures같은 색의 노드는 같은 feature를 갖는다고 하자. 위의 경우 5개의 노드가 동일한 feature를 가진 경우이다.1번 노드와 4번 노드는 degree가 2로 동일하지만, neighborhood structure는 다르다.1번 노드의 이웃노드들은 degree=2지만, 4번 노드의 이웃노드들은 degree가 1 또는 3으로 다르기 때문이다. 1번 노드와 2번 노드는 neighborhood structure가 동일하다.모두 이웃 노드의 degree가 2와 3으로 동일하다. Can GNN node embeddings distinguish differenct node's local neighborhood structures?Computational Grap.. 2023. 6. 14. [CS224w] 4. Graph Neural Networks 앞서 Node Embedding을 할 때는 임베딩 벡터를 이용하여 문제를 해결했다.이제 딥러닝 방법으로 node/edge/graph를 encoding하는 방법으로 나아가자. 그래프 데이터이므로 Grapn Neural Networks(GNN, GNNs)라 부른다.기존 MLP가 적합하지 않은 이유Naive하게 인접행렬$\mathbf{A}$을 concat하여 MLP에 적용해보자.MLP의 결과는 임베딩된 벡터 $\mathbf{z}_{\mathcal{G}}$가 output으로 나온다고 하면 \[ \mathbf{z}_{\mathcal{G}} = \mathrm{MLP}(\mathbf{A}[1] \oplus \mathbf{A}[2] \oplus \dots \oplus \mathbf{A}|\mathcal{V}| ]) \.. 2023. 3. 7. 이전 1 다음 728x90 반응형
