728x90 반응형 전체 글266 [CS246] Gradient Boosted Decision Trees (GBDT) Gradient Boosted Decision Tree: Additive LearningExample: Regression다음과 같은 데이터에 대하여 regression task를 생각해보자.\[ D = \{ (10, -10),\ (20, 7),\ (25,8),\ (35,-7) \} \]상수를 예측하는 것부터 시작하다. 여기서 $\hat{y}_i^{(0)}=0.5$라 하자.$y$: groud truth vector$y_i$는 $i$번째 instance(data point)의 ground truth이다.$\hat{y}^{(t)}$: $t$번째 round에서 예측한 predicted value vector$\hat{y}_i^{(t)}$는 $t$번째 round에서 예측한 $i$번째 instance의 predi.. 2023. 12. 4. [CS246] Sampling from a Data Stream Fixed-proportion, Fixed-size, Reservoir SamplingIntroductiondata stream은 전체 데이터를 저장할 수 없기 때문에, 샘플링을 이용한다.크게 2가지 방법이 있는데, fixed proportion 방법과 random sample of fixed size이다. Sampling a Fixed Proportiondata stream의 일정 비율(예를 들어 10% 등)만큼 샘플링하는 것이다. stream이 커질수록 sample 역시 커진다. Problem with Naive Approachstream data가 (user, query, time)이라는 tuple의 형태로 들어온다고 할 때, unique query의 비율을 추정해보자. 이때 당연히 중복되는 que.. 2023. 12. 4. [CS246] Mining Data Streams Mining Data Streams 많은 데이터 마이닝 상황에서 데이터 크기는 알 수 없다. 이러한 데이터를 data stream이라 부른다. data stream은 무한한 데이터가 한 번에 한 원소씩 들어온다고 생각할 수 있다. Applications Mining query stremas Mining click streams Mining social network news feeds Sensor networks Telephone call records IP packets monitored as a switch Problems on Data Streams Sampling data from a stream Filtering a data stream Counting distinct elements Findi.. 2023. 12. 3. [CS224w] Subgraphs and Motifs Subgraphs and MofitsIntroduction and Motivationsubgraph는 network의 block과도 같다. subgraph는 network의 특징이나 구별하는데 매우 도움이 된다.특히 많은 도메인에서 반복되는 구조는 그래프에서 어떤 기능이나 행동(function or behavior)을 결정짓는다.Definition: Subgraph주어진 그래프 $G=(V, E)$에 대하여 2가지 방법으로 subgraph $G'=(V', E')$ 를 정의할 수 있다.Def 1. Node-induced subgraph $V' \subset V$$E' = \{ (u,v) \in E \ | \ u, v \in V' \}$$G'$ is the subgraph of $G$ induced by $V.. 2023. 11. 28. Gradients of Neural Networks Computing Neural Networks GradientsVectorized Gradients함수 $f$가 $f: \mathbb{R}^n \to \mathbb{R}^m$ 즉 길이가 $n$인 벡터를 길이가 $m$인 벡터로 매핑할 때 Jacobian은 다음과 같이 행렬의 형태로 표현할 수 있다.즉, Jacobian matrix의 $(i,j)$는 $\left( \frac{\partial f}{\partial x} \right)_{ij}=\frac{\partial f_i}{\partial x_j}$ 이다. Jacobian matrix를 사용할 때의 이점은, chain rule을 이용할 때 단순히 Jacobian의 곱하기로 표현할 수 있다는 것이다. 예를 들어, $f(x)=[f_1(x), f_2(x)]$이고.. 2023. 11. 27. [Community Detection] Girvan-Newman (GN) Algorithm Girvan-Newman: Divisive hierarchical clustering based on edge betweennessCommunity Detection우리는 그래프(네트워크)를 여러개의 모듈, 클러스터, 커뮤니티의 집합체로 생각한다.graph를 partitioning하여 micro-market을 찾을 수 있다. 소셜네트워크에서는 서로 겹치는(overlapping) social circle 혹은 circles of trust를 찾을 수 있다. 여기서는 undirected & unweighted network에서의 community detection에 알아보자. Edge betweenness해당 edge를 통과하는 최단거리의 개수 (Number of shortest paths passing t.. 2023. 11. 14. 이전 1 ··· 7 8 9 10 11 12 13 ··· 45 다음 728x90 반응형
