본문 바로가기
728x90
반응형

분류 전체보기249

[CS246] MapReduce Large-scale Computing supercomputer를 운용하는것은 너무 비용이 크고, 심지어 데이터 크기(scaling)를 크게 할 수 없다. 대신, 하드웨어를 연결하여 분산처리를 구현한다. (collection of commodity hardware) Challenges distribute computation? distributed programs? machines fail 네트워크간 데이터 복사(copy)는 시간이 걸린다. local에 연산 결과를 저장하고, failure에 대비하여 여러번 저장한다. Spark/Hadoop은 이런 문제를 해결할 수 있다. Storage Infrastructure: Google File System (GFS), Hadoop Distributed File .. 2023. 9. 8.
Measure Theoretic Probability $\sigma$-algebra A non-empty collection $\mathcal{E}$ of subsets of $E$ is called an algebra if it is closed under finite unions and complements. $\mathcal{E}$ is $\sigma$-algebra if it is closed under countable unions and complements. In math: $\quad 1.\ A \in \mathcal{E} \Rightarrow E \setminus A \in \mathcal{E}$ $\quad 2.\ A_1, A_2, \dots \in \mathcal{E} \Rightarrow \bigcup_{n \ge 1} A_n \in .. 2023. 9. 6.
[LaTeX] 여러가지 수학 폰트들 (mathcal, mathbb 등) 수식을 작성하다보니 다양한 수학폰트가 있다는 것을 알았다.몇가지 정리해보았다.\mathcal: Calligraphic Font주로 특별한 집합, 대수 구조, 변환위상공간 같은 걸 표현할 때 본 적이 있다$\mathcal{A} \quad \mathcal{B} \quad \mathcal{C} \quad \ldots$\mathbb: Blackboard Bold Font주로 수의 집합. (실수, 정주, 자연주 집합 등)$\mathbb{R} \quad \mathbb{Z} \quad \mathbb{N} \quad \ldots$\mathfrak: Fraktur Font리 대수(Lie Algebras), 아이디얼(ring theory), 다른 대수 구조들전공이 수학이 아니다보니 거의 보지 못했다.$\mathfrak{g.. 2023. 8. 30.
[Bayesian] Frequentism vs Bayesianism (빈도주의 vs 베이지안) Introduction to Bayesian 통계적 방법으로 빈도주의(frequentism)과 베이지안(bayesianism)이 있고 이 둘의 차이를 정리해보았다. 빈도주의 관점 (Frequentism) 확률은 반복된 시행으로 일어나는 사건의 횟수이다. 파라미터 $\theta$는 고정되어있기에 $\theta$의 횟수를 정의하는 것은 의미가 없다. 대신 $X$에 대한 반복 시행에 관심이 있다. 베이지안 관점 (Bayesianism) 확률은 사건의 불확실성을 의미한다. (quantification of uncertainty) 따라서 파라미터 $\theta$의 확률(불확실성)을 정의하는 것이 자연스럽다. $p(\theta)$ 데이터 $X$가 관찰된 이후의 $\theta$의 확률(불확실성)에 관심이 있다. 이를.. 2023. 8. 29.
[Error] ValueError: Expected more than 1 value per channel when training, got input size ~ 에러 위치 File "XX.py", line NN, in forward x = F.relu(self.bn(self.lin1(x))) File "/XX/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/XX/lib/python3.8/site-packages/torch/nn/modules/batchnorm.py", line 171, in forward return F.batch_norm( File "/XX/lib/python3.8/site-packages/torch/nn/functional.py", line 2448, in batch_.. 2023. 8. 23.
[CS224w] Relational GCN (RGCN) Extending GCN to handle heterogeneous grphas 그림과 같이 relation은 하나인 directed graph에 대하여 GCN을 적용해보자. 그렇다면 edge의 방향에 따라 message passing이 이루어지도록 설계하면 될 것이다. 그렇다면 다양한 relation type이 존재한다면 어떻게 message passing을 할 것인가? 어쩔 수 없이 relation 마다 학습하는 weight가 다르게 설계를 한다. (cs224w 강의자료에서는 보기 쉽게 같은 색으로 구분하였다) 즉, 각각의 relation type마다 다른 신경망을 적용하여 convlution을 구현할 수 있다. Introduce a set of neural networks for each relat.. 2023. 8. 9.
728x90
반응형

티스토리툴바