728x90
반응형
꼭 GNN에 해당하는 내용은 아니겠지만, cs224w에서 별도의 강의 슬라이드를 만들었으니 간단히 정리한다.
General Tips
- 데이터 전처리는 매우 중요하다.
- note attribute는 매우 많다. 따라서 정규화(normalization)을 해야한다.
- 확률이라면 $(0, 1)$로, 필요(데이터)에 따라 넓은 범위도 가능하다.
- Optimizer: Adam이면 상대적으로 robust하다.
- Activation function: ReLU도 충분하지만 LeakyReLU, PReLU도 좋다. 그러나 output layer에는 activation function을 적용하면 안된다. 그리고 모든 layer에 bias를 추가한다.
- Embedding dimension: 32, 64, 128 차원에서 시작한다. 학습결과에 따라 임베딩 차원을 바꾸어 간다.
Debugging Deep Networks
training 단계에서 loss/accuracy 등이 수렴하지 않을 때는 다음을 살펴본다.
- pipeline 살펴보기. 특히 PyTorch에서 zero_grad를 제대로 사용했는지 확인
- hyperparameter 바꿔보기 (e.g. learning rate)
- weight parameter 초기화도 중요하다.
- loss function을 잘 살펴본다.
Resources on GNN
다음 논문들도 좋은 tutorial이 될 수 있다.
728x90
반응형
