본문 바로가기
728x90
반응형

분류 전체보기261

Measure Theoretic Probability $\sigma$-algebraA non-empty collection $\mathcal{E}$ of subsets of $E$ is called an algebra if it is closed under finite unions and complements. $\mathcal{E}$ is $\sigma$-algebra if it is closed under countable unions and complements. In math:$\quad 1.\ A \in \mathcal{E} \Rightarrow E \setminus A \in \mathcal{E}$$\quad 2.\ A_1, A_2, \dots \in \mathcal{E} \Rightarrow \bigcup_{n \ge 1} A_n \in \ma.. 2023. 9. 6.
[LaTeX] 여러가지 수학 폰트들 (mathcal, mathbb 등) 수식을 작성하다보니 다양한 수학폰트가 있다는 것을 알았다.몇가지 정리해보았다.\mathcal: Calligraphic Font주로 특별한 집합, 대수 구조, 변환위상공간 같은 걸 표현할 때 본 적이 있다$\mathcal{A} \quad \mathcal{B} \quad \mathcal{C} \quad \ldots$\mathbb: Blackboard Bold Font주로 수의 집합. (실수, 정수, 자연수 집합 등)$\mathbb{R} \quad \mathbb{Z} \quad \mathbb{N} \quad \ldots$\mathfrak: Fraktur Font리 대수(Lie Algebras), 아이디얼(ring theory), 다른 대수 구조들전공이 수학이 아니다보니 거의 보지 못했다.$\mathfrak{g.. 2023. 8. 30.
[Bayesian] Frequentism vs Bayesianism (빈도주의 vs 베이지안) Introduction to Bayesian 통계적 방법으로 빈도주의(frequentism)과 베이지안(bayesianism)이 있고 이 둘의 차이를 정리해보았다. 빈도주의 관점 (Frequentism)확률은 반복된 시행으로 일어나는 사건의 횟수이다.파라미터 $\theta$는 고정되어있기에 $\theta$의 횟수를 정의하는 것은 의미가 없다.대신 $X$에 대한 반복 시행에 관심이 있다.베이지안 관점 (Bayesianism)확률은 사건의 불확실성을 의미한다. (quantification of uncertainty)따라서 파라미터 $\theta$의 확률(불확실성)을 정의하는 것이 자연스럽다. $p(\theta)$데이터 $X$가 관찰된 이후의 $\theta$의 확률(불확실성)에 관심이 있다. 이를 사후확률 p.. 2023. 8. 29.
[Error] ValueError: Expected more than 1 value per channel when training, got input size ~ 에러 위치 File "XX.py", line NN, in forward x = F.relu(self.bn(self.lin1(x))) File "/XX/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/XX/lib/python3.8/site-packages/torch/nn/modules/batchnorm.py", line 171, in forward return F.batch_norm( File "/XX/lib/python3.8/site-packages/torch/nn/functional.py", line 2448, in batch_.. 2023. 8. 23.
[CS224w] Relational GCN (RGCN) Extending GCN to handle heterogeneous grphas그림과 같이 relation은 하나인 directed graph에 대하여 GCN을 적용해보자. 그렇다면 edge의 방향에 따라 message passing이 이루어지도록 설계하면 될 것이다. 그렇다면 다양한 relation type이 존재한다면 어떻게 message passing을 할 것인가?어쩔 수 없이 relation 마다 학습하는 weight가 다르게 설계를 한다.(cs224w 강의자료에서는 보기 쉽게 같은 색으로 구분하였다)즉, 각각의 relation type마다 다른 신경망을 적용하여 convlution을 구현할 수 있다.Introduce a set of neural networks for each relation t.. 2023. 8. 9.
[CS224w] Motivation of Heterogeneous Graphs Motivation지금까지 살펴본 GCN, GraphSAGE, GAT, GIN 모두 노드의 성질(property)이 같은 그래프이다.node feature가 차원이 커도 모든 노드들의 차원이 같기 때문이다. 그러나 실제 그래프 데이터 구조에서 노트 성질, 엣지 성질 등이 다양하기 때문에 앞에서 살펴본 homogeneouse graph로는 충분하지 않다. 노드의 성질이 2개인 경우예: Paper node, Author node엣지의 성질이 다양한 경우예: Cite, Link하나의 그래프 내에서, 노드와 엣지의 성질이 모두 다양한 경우도 가능하다2개의 노드와 2개의 엣지가 있다면, 2*2*2=8가지 가능한 relation이 존재한다.보다시피 relation type은 (node_start, edge, nod.. 2023. 8. 8.
728x90
반응형

티스토리툴바