728x90 반응형 분류 전체보기261 [뇌과학] Default Mode Network (DMN) DMN Default Mode Network (DMN, 기본 모드 네트워크) 휴식 중이거나 특정 작업에 참여하지 않을 때(not engaged in any task)에도 지속적으로 활성화되는 뇌 영역의 네트워크이다. 혈류의 변화를 감지하여 뇌의 활동을 측정하는 fMRI 연구를 통해 처음 확인되었다. 내측 전두엽 피질(medial prefrontal cortex), 후두엽 피질(posterior cingulate cortex), 내측 측두엽 (medial temporal lobe) 등을 포함한 여러 뇌 영역이 상호연결되어 네트워크로 함께 동작한다. 원래 뇌 영역은 goal-oriented task를 수행한다고 생각했다. 때문에 특정 작업에 참여하지 않는 상태에서도 활성화되는 이 부분을 task-negati.. 2023. 6. 21. [CS224w] General Tips for Debugging GNN 꼭 GNN에 해당하는 내용은 아니겠지만, cs224w에서 별도의 강의 슬라이드를 만들었으니 간단히 정리한다. General Tips데이터 전처리는 매우 중요하다. note attribute는 매우 많다. 따라서 정규화(normalization)을 해야한다. 확률이라면 $(0, 1)$로, 필요(데이터)에 따라 넓은 범위도 가능하다. Optimizer: Adam이면 상대적으로 robust하다.Activation function: ReLU도 충분하지만 LeakyReLU, PReLU도 좋다. 그러나 output layer에는 activation function을 적용하면 안된다. 그리고 모든 layer에 bias를 추가한다.Embedding dimension: 32, 64, 128 차원에서 시작한다. 학습결과에.. 2023. 6. 18. [CS224w] Theory of GNNs (2) - Neighbor Aggregation, GIN (Graph Isomorphism Network) 전 포스팅에서는 GNN의 node embedding이 왜 표현력이 좋은지 omputational graph의 관점에서 설명했다.이번에는 neighbor aggregation의 관점에서 더 살펴보자. Neighbor AggregationNeighbor aggregation은 multi-set function과 동일한 구조를 갖는 것에서 시작한다.aggregation function으로 GCN (ICLR 2017)에서는 mean-pool, GraphSAGE (NeurIPS)에서 max-pool을 제안하였다.GCN에서는 $\text{Mean}(\{ x_u \}_{u \in N(v)})$GraphSAGE에서는 $\text{Max}(\{ x_u \}_{u \in N(v)})$GCN (mean-pool) [ICLR.. 2023. 6. 17. [CS224w] Theory of GNNs (1) - Local Neighborhood Structures, Computational Graph Local Neighborhood Structures같은 색의 노드는 같은 feature를 갖는다고 하자. 위의 경우 5개의 노드가 동일한 feature를 가진 경우이다.1번 노드와 4번 노드는 degree가 2로 동일하지만, neighborhood structure는 다르다.1번 노드의 이웃노드들은 degree=2지만, 4번 노드의 이웃노드들은 degree가 1 또는 3으로 다르기 때문이다. 1번 노드와 2번 노드는 neighborhood structure가 동일하다.모두 이웃 노드의 degree가 2와 3으로 동일하다. Can GNN node embeddings distinguish differenct node's local neighborhood structures?Computational Grap.. 2023. 6. 14. [Data Science] K-Nearest Neighbor (k-NN, Lazy Learning, k-최근접 이웃) Lazy vs Eager LearningLazy Learning (e.g. instance-based learining): training data를 저장하고 new data(test data)를 입력받을 때 classifiy한다.Eager Learning: new data(test data)를 입력받기전에 classification model을 먼저 구성한다. 이전에 다룬 decision tree, naive bayes classifier는 eager learning이다. EfficiencyLazy learning은 training time은 짧지만 predicting에서 더 많은 시간이 걸린다. AccuracyLazy Learning은 더 복잡한 결정 공간(more complex decision sp.. 2023. 6. 10. [Clustering] Cluster Evaluation (silhouette coefficient, proximity matrix, clustering tendency) Measures of Cluster ValidityUnsupervised measure, Internal indexgoodness of a clustering structure w/o respect to external informationCluster Cohesion (compactness, tighness)Cluster Seperation (isolation) Supervised measure, External indexwhich cluster labels match externally supplied class labelsEntropy Relative measureCompare two different clustering resultsunsupervised/supervised measure 모두 적.. 2023. 6. 3. 이전 1 ··· 16 17 18 19 20 21 22 ··· 44 다음 728x90 반응형
