728x90 반응형 deep learning4 Double Descent: new approach of bias-variance trade-off Double Descent: Modern approach of bias-variance trade-offclassic ML의 관점에서, bias-variance trade-off는 model complexity와 관련있다.이전 포스트를 참고해도 좋다.https://trivia-starage.tistory.com/238 Overfitting을 막는 방법들 (regularization, cross-validation, early stopping)Overfitting and Regularization ※ The blog post is based on lecture materials from Xavier Bresson, a professor at the National University of Singapore.. 2024. 3. 3. Overfitting을 막는 방법들 (regularization, cross-validation, early stopping) Overfitting and Regularization※ The blog post is based on lecture materials from Xavier Bresson, a professor at the National University of Singapore. The lecture materials can be found on the professor's LinkedIn. You can also found it at [1]. Under-fitting and over-fittingUnderfittinglearner가 충분한 표현력을 가지지 못함.training set에서 error를 생성.training/testing error 모두 높다.방지 방법: learner의 expressivity(또는 c.. 2024. 3. 2. [CS224w] Theory of GNNs (1) - Local Neighborhood Structures, Computational Graph Local Neighborhood Structures같은 색의 노드는 같은 feature를 갖는다고 하자. 위의 경우 5개의 노드가 동일한 feature를 가진 경우이다.1번 노드와 4번 노드는 degree가 2로 동일하지만, neighborhood structure는 다르다.1번 노드의 이웃노드들은 degree=2지만, 4번 노드의 이웃노드들은 degree가 1 또는 3으로 다르기 때문이다. 1번 노드와 2번 노드는 neighborhood structure가 동일하다.모두 이웃 노드의 degree가 2와 3으로 동일하다. Can GNN node embeddings distinguish differenct node's local neighborhood structures?Computational Grap.. 2023. 6. 14. [논문리뷰] TimesNet, Temporal 2D-Variation Modeling for General Time Series Analysis 1. IntroductionICLR 2023에 publish된 논문이고 주된 내용은interperiod-variation, intraperiod-variation(기간내, 기간 간 변동) 모두 포착하는 모델 아키텍처 제안1차원 시계열 데이터를 2차원 데이터로 변환하여 convolution으로 feature extractionResNet의 residual block을 이용한 TimesBlock 제안파라미터 수를 줄이기 위해 GoogLeNet의 Inception 사용5개의 General Task에 대하여 SOTA 달성장기 예측(long-term forecasting)단기 예측(short-term forecasting)결측치 대입(imputation)분류(classification)이상치 탐지(anomaly .. 2023. 4. 8. 이전 1 다음 728x90 반응형
