본문 바로가기
728x90
반응형

스터디/인공지능, 딥러닝, 머신러닝56

[Bayesian] Exponential Family & Conjugate Priors (지수족, 켤레사전분포) Exponential Family확률변수 $X$의 확률밀도함수(또는 확률질량함수)가 다음을 만족하면, $X$는 지수족이라고 한다.\[ p(x|\eta) = \exp( T(x)^\top \eta - \mathbb{1}^\top A(\eta) - B(x) ) \]이때 $T(x)$는 충분통계량, $\eta$는 natural parameter, $A(\eta)$는 log-partition function, $B(x)$는 base measure 이다.Example 1: Bernoulli distribution베르누이 분포의 확률질량함수는 다음과 같다.\[ p(x|\theta) = \theta^{x} (1-\theta)^{1-x} = \exp\left(x \log \cfrac{\theta}{1-\theta} \ri.. 2023. 9. 13.
[Bayesian] Frequentism vs Bayesian (빈도주의 vs 베이지안) Introduction to Bayesian 통계적 방법으로 빈도주의(frequentism)과 베이지안(bayesianism)이 있고 이 둘의 차이를 정리해보았다. 빈도주의 관점 (Frequentism)확률은 반복된 시행으로 일어나는 사건의 횟수이다.파라미터 $\theta$는 고정되어있기에 $\theta$의 횟수를 정의하는 것은 의미가 없다.대신 $X$에 대한 반복 시행에 관심이 있다.베이지안 관점 (Bayesianism)확률은 사건의 불확실성을 의미한다. (quantification of uncertainty)따라서 파라미터 $\theta$의 확률(불확실성)을 정의하는 것이 자연스럽다. $p(\theta)$데이터 $X$가 관찰된 이후의 $\theta$의 확률(불확실성)에 관심이 있다. 이를 사후확률 p.. 2023. 8. 29.
[CS224w] Relational GCN (RGCN) Extending GCN to handle heterogeneous grphas그림과 같이 relation은 하나인 directed graph에 대하여 GCN을 적용해보자. 그렇다면 edge의 방향에 따라 message passing이 이루어지도록 설계하면 될 것이다. 그렇다면 다양한 relation type이 존재한다면 어떻게 message passing을 할 것인가?어쩔 수 없이 relation 마다 학습하는 weight가 다르게 설계를 한다.(cs224w 강의자료에서는 보기 쉽게 같은 색으로 구분하였다)즉, 각각의 relation type마다 다른 신경망을 적용하여 convlution을 구현할 수 있다.Introduce a set of neural networks for each relation t.. 2023. 8. 9.
[CS224w] Motivation of Heterogeneous Graphs Motivation지금까지 살펴본 GCN, GraphSAGE, GAT, GIN 모두 노드의 성질(property)이 같은 그래프이다.node feature가 차원이 커도 모든 노드들의 차원이 같기 때문이다. 그러나 실제 그래프 데이터 구조에서 노트 성질, 엣지 성질 등이 다양하기 때문에 앞에서 살펴본 homogeneouse graph로는 충분하지 않다. 노드의 성질이 2개인 경우예: Paper node, Author node엣지의 성질이 다양한 경우예: Cite, Link하나의 그래프 내에서, 노드와 엣지의 성질이 모두 다양한 경우도 가능하다2개의 노드와 2개의 엣지가 있다면, 2*2*2=8가지 가능한 relation이 존재한다.보다시피 relation type은 (node_start, edge, nod.. 2023. 8. 8.
[CS224w] Label Propagation on Graphs (3) - Correct & Smooth (C&S) ReferenceCombining Label Propagation and Simple Models Out-performs Graph Neural Networks IntroductionCorrect & Smooth (C&S)는 node classification method에서 SOTA 이다.이 글을 포스팅하는 (2023.07.12) ogbn-products의 top-10 중에서 5개는 C&S 방법을 적용하였다.Label Propagation (LP)는 homophily(또는 associativity)를 이용하지만 정작 node feature vector를 이용하지 않는다. 즉 LP는 neighbor averaging이다.Graph Neural Network (GNN)은 feature vector를 이용하.. 2023. 7. 13.
[CS224w] Label Propagation on Graphs (2) - Label Propagation Label Propagationlabeled node는 ground truth label $Y_v^*$로 초기화한다.unlabeled node는 $Y_v = 0.5$로 초기화한다. Update each unlabeled node\[ P^{(t+1)}(Y_v = c) = \cfrac{1}{\sum_{(v, u) \in E} A_{v,u} } \sum_{(v, u) \in E} A_{v, u} P^{(t)}(Y_v = c) \]$A_{v, u}$: edge에 가중치(strength, weight)가 있다면 $A_{v, u}$는 두 노드 $v$와 $u$ 사이의 edge weight를 나타낸다.$P(Y_v = c)$: 노드 $v$가 label이 $c$일 확률convergence할 때 까지 반복하여 update를.. 2023. 7. 13.
728x90
반응형

티스토리툴바