728x90 반응형 entropy2 [Data Science] Decision Tree - Information Gain, Gain Ratio Entropy이전 포스팅에서 엔트로피에 대해 간단히 다뤄보았다.이제 엔트로피를 이용한 정보획득(information gain, IG)을 이용한 decision tree를 살펴보자. https://trivia-starage.tistory.com/106?category=1047124 Entropy의 의미 (정보이론)Entropy in information theory 정의 정보이론에서, 확률변수의 엔트로피는 변수의 불확실성의 기댓값이다. $\mathcal{X}$에서 추출한 (이산)확률변수 $X$의 엔트로피를 $H(X)$라 하고 아래와 같다. \[ H(X) = -\sumtrivia-starage.tistory.com\[ Entropy = -\sum_{i}p_i \log_2{p_i} \] Note: 이번 포스팅.. 2023. 4. 29. Entropy의 의미 (정보이론) Entropy in information theory정의정보이론에서, 확률변수의 엔트로피는 변수의 불확실성의 기댓값이다.$\mathcal{X}$에서 추출한 (이산)확률변수 $X$의 엔트로피를 $H(X)$라 하고 아래와 같다.\[ H(X) = -\sum_{x \in \mathcal{X}}p(x)\log{p(x)} = E[-\log{p(X)}] \]$H(X)$로 얻은 수가 정보의 양이라 할 수 있다.이때 $\log$의 밑은 도메인에 따라 달라지는데, 밑이 $2$인 경우 비트, $e$인 경우 nat(natural unit), $10$인 경우에는 dit라고 부른다. 정보의 불확실성, 그 의미는?확률적으로, 어떤 사건이 더 정보를 가질까?'정보'라고 하니 유용성과 엮여 직관적이지 않게 느껴질 수도 있다.항상 일어.. 2023. 4. 14. 이전 1 다음 728x90 반응형
