728x90 반응형 스터디223 [CS224W] GNN for RecSys (4) - LightGCN LightGCN: Simplifying and Powering Graph Convolution Network for RecommendationMotivationshallow embeddings은 그 자체로 꽤 좋은 표현력(expressive)를 가진다.노드 개수를 $N$, 임베딩 차원을 $D$라 하면- shallow embedding: $O(ND)$- GNN: O(D^2)GNN의 파라미터는 충분하지 않을 수 있다그러면 GNN으로 NGCF의 파라미터를 줄일 수 있을까? YES!게다가 단순화(simplification)은 추천 성능을 향상시킬 수 있다. LightGCN의 idea는 크게 3가지이다.- 이분그래프에서의 인접행렬(adjacency matrix)- GCN의 행렬 곱셈(matrix formulati.. 2024. 11. 9. [CS224W] GNN for RecSys (3) - NGCF (Neural Graph Collaborative Filtering) Neural Graph Collaborative Filtering (NGCF)Overview기존의 collaborative filtering (CF)은 shallow embedding을 이용하기 때문에- 그래프 구조를 반영하지 못함- 모델 학습이 high-order graph structure를 포착하지 않음위 그림을 보자.왼쪽 그림은 3명의 user와 5개의 item의 상호작용이 있는 이분그래프이다.$u_1$이 target user라 하자. 기존 CF은 $u_1$와 직접 연결된 $i_1, i_2, i_3$의 item만 포착한다.그런데 $i_2$는 $u_2$와도 연결되어 있고, $i_3$은 $u_3$와도 연결되어있다.그러나 shallow embedding은 이러한 관계는 포착하지 못한다.실제 user-i.. 2024. 11. 8. [CS224W] GNN for RecSys (2) - Embedding-Based Models Embedding-Based Models, Surrogate Loss Functions, BPR LossNotation and Score Function$U$를 모든 user의 집합, $V$를 모든 item의 집합, 그리고 $E$를 관찰한(observed) user-item 상호작용 집합이라 하자.top-K item을 추천한다고 하자.유저 $u$에게 추천할 item은 $\text{score}(u, v)$가 가장 큰 순서대로 $K$개의 item을 추천해주면 된다.이때, 추천해줄 item은 이미 상호작용한 item은 제외해야한다. (excluding already interacted items)위 그림의 경우, 실선은 already interacted edge이고, 점선은 interaction되지 않은 ed.. 2024. 11. 7. [CS224W] GNN for RecSys (1) - Task and Evaluation GNN for Recommender Systems: Task and EvaluationPreliminary추천시스템은 기본적으로 이분그래프(bipartite graph)의 구조를 갖는다.이분 그래프는 2개의 노드 종류를 갖는다: users, items이분 그래프의 edge는 user와 item을 연결한다.user-item의 상호작용(interaction)일 수도 있고, timestamp와 연관지을 수도 있다.추천시스템의 목적은 다음과 같다.과거의 user-item 상호작용이 주어질 때, 새로운 user-item 상호작용을 예측한다.(보통 기존 user가 new item과 상호작용을 할지 말지)이를 link prediction으로 환원하여 생각할 수 있다.user와 item의 집합을 $U,\ V$라 하자... 2024. 11. 6. [CS246] Bandits (4) - Thompson Sampling Thompson Sampling: Probability-Based Bandit Algorithm Thompson sampling은 각 행동이 최적인 확률에 비례하여 세션을 arm에 할당한다.결과분포는 집합 \( \{ 0, 1 \} \) 으로 가정한다.이는 각 행동은 성공($1$) 또는 실패($0$)를 의미한다.그리고 확률 \( \theta \) 로 동전을 던지면 이 동전은(동전의 결과는) 베르누이 분포를 따른다.그리고 \( \theta \)를 추정하기 위해 \( 0 \)과 \( 1 \)의 개수를 세어간다. \( k \)개의 arm이 있고, 각 arm의 파라미터를 \( \theta_i \)라 하자.즉 \( \boldsymbol{\theta} = ( \theta_1, \theta_2, \dots, \thet.. 2024. 10. 26. Multiple Linear Regression (2) - Evaluation Multiple Linear Regression - Evaluation, Analysis 다중선형회귀 모델을 fitting하면 끝인가? 그렇지 않다.다중선형회귀 모델의 기본 가정을 위반하지 않는지 확인해야 한다.기본가정을 위반하지 않아야 unseen data에 대해서도 적절한 inference를 할 수 있다.그렇지 않으면 garbage value를 얻을 것이다. $R_{adj}^2$: 조정된 결정계수결정계수($R^2$)는 회귀모형이 주어진 데이터에 얼마나 잘 맞는지 평가하는 지표이다.종속변수의 변동성을 설명하는 독립변수의 비율을 의미한다.$0 \le R^2 \le 1$이며 값이 클 수혹 모델이 데이터를 잘 설명한다는 뜻이다.그러나 독립변수가 많아지면 이 식이 왜곡될 수 있다.$R^2$는 독립변수가 많아지.. 2024. 10. 14. 이전 1 2 3 4 ··· 38 다음 728x90 반응형
