728x90 반응형 Gain Ratio1 [Data Science] Decision Tree - Information Gain, Gain Ratio Entropy이전 포스팅에서 엔트로피에 대해 간단히 다뤄보았다.이제 엔트로피를 이용한 정보획득(information gain, IG)을 이용한 decision tree를 살펴보자. https://trivia-starage.tistory.com/106?category=1047124 Entropy의 의미 (정보이론)Entropy in information theory 정의 정보이론에서, 확률변수의 엔트로피는 변수의 불확실성의 기댓값이다. $\mathcal{X}$에서 추출한 (이산)확률변수 $X$의 엔트로피를 $H(X)$라 하고 아래와 같다. \[ H(X) = -\sumtrivia-starage.tistory.com\[ Entropy = -\sum_{i}p_i \log_2{p_i} \] Note: 이번 포스팅.. 2023. 4. 29. 이전 1 다음 728x90 반응형
