728x90 반응형 전체 글268 Gradients of Neural Networks Computing Neural Networks GradientsVectorized Gradients함수 $f$가 $f: \mathbb{R}^n \to \mathbb{R}^m$ 즉 길이가 $n$인 벡터를 길이가 $m$인 벡터로 매핑할 때 Jacobian은 다음과 같이 행렬의 형태로 표현할 수 있다.즉, Jacobian matrix의 $(i,j)$는 $\left( \frac{\partial f}{\partial x} \right)_{ij}=\frac{\partial f_i}{\partial x_j}$ 이다. Jacobian matrix를 사용할 때의 이점은, chain rule을 이용할 때 단순히 Jacobian의 곱하기로 표현할 수 있다는 것이다. 예를 들어, $f(x)=[f_1(x), f_2(x)]$이고.. 2023. 11. 27. [Community Detection] Girvan-Newman (GN) Algorithm Girvan-Newman: Divisive hierarchical clustering based on edge betweennessCommunity Detection우리는 그래프(네트워크)를 여러개의 모듈, 클러스터, 커뮤니티의 집합체로 생각한다.graph를 partitioning하여 micro-market을 찾을 수 있다. 소셜네트워크에서는 서로 겹치는(overlapping) social circle 혹은 circles of trust를 찾을 수 있다. 여기서는 undirected & unweighted network에서의 community detection에 알아보자. Edge betweenness해당 edge를 통과하는 최단거리의 개수 (Number of shortest paths passing t.. 2023. 11. 14. [Bayesian] Evidence lower bound (ELBO) and EM-algorithm Evidence lower bound (ELBO)파라미터가 $\theta$이고 latent variable이 $z$인 확률모델을 생각해보자. $z$를 적분하여 marginal을 구할 수 있다.\[ p(x; \theta) = \int p(x, z; \theta) dz \] non-Bayesian modeling에서는 log-likelihood를 최대로 만드는 $\theta^*$를 찾는데 관심을 갖는다. 즉\begin{align} \theta^* &= \underset{\theta}{\mathrm{argmax}} \log p(x;\theta) \\ &= \underset{\theta}{\mathrm{argmax}} \log \int p(x, z; \theta) dz \end{align} 그러나 만일 적분이 .. 2023. 11. 11. [CS246] Word2Vec Word2Vec: Embedding the word2013년 발표된 논문 "Efficient Estimation of Word Representations in Vector Space"도 벌써 10년이 되어간다. 딥러닝 모델을 이용한 임베딩 중 가장 유명한 방법론이 아닐까 싶다. word2vec를 구현하는 방법은 CBOW(Continuous Bag-of-Words)와 skip-gram(Continuous Skip-gram)이 있고, 여기서는 skip-gram만 설명한다.Target and ContextKey idea는 "같은 context에서 같이 등장하는 단어끼리는 의미가 가깝다"이다. 여기서 의미는 단어 그대로의 사전적 의미는 아니고 문맥적 의미라고 생각하면 되겠다. (like와 hate는 사전적 의.. 2023. 11. 10. [CS246] TrustRank vs. LinkFarms TrustRank: Bias Random Walk to trustworthy pagesLink Farms: Create link to boost PageRank of particular pagespammer들은 구글의 PageRank를 역이용하여 특정 페이지의 pagerank score를 극대화시켜 페이지 상단에 노출시키려 한다. spammer의 시각에서 웹페이지는 3개의 종류가 있다.Owned pages: spammer가 소유권을 가지고 있어서 무엇이든 할 수 있는 페이지. (completely control)Accessible pages: 소유권은 없지만, 댓글 등으로 자신의 링크를 post할 수 있는 페이지. 블로그 댓글, 뉴스 댓글 또는 위키피디아의 링크 등이 있다.Inaccessible page.. 2023. 11. 6. [CS246] Topic-Specific PageRank Topic-Specific PageRank: Measure importance within a topicMotivation사용자가 웹 서핑을 할때는 페이지의 중요도(importance) 뿐만 아니라 사용자의 주제(topic)도 반영해야 한다.standard PageRank에서는 모든 페이지에 랜덤하게 teloport하지만, topic-specific한 주제들에서만 연관검색이 되도록 teleport set $S$를 이용한다. Matrix Formulation\[ A_{ij} = \begin{cases} \beta M_{ij} + (1-\beta) / |S| & \text{if } i \in S \\ \beta M_{ij} & \text{otherwise} \end{cases} \] Example: Topi.. 2023. 11. 5. 이전 1 ··· 8 9 10 11 12 13 14 ··· 45 다음 728x90 반응형
