728x90 반응형 정보이론1 Entropy의 의미 (정보이론) Entropy in information theory정의정보이론에서, 확률변수의 엔트로피는 변수의 불확실성의 기댓값이다.$\mathcal{X}$에서 추출한 (이산)확률변수 $X$의 엔트로피를 $H(X)$라 하고 아래와 같다.\[ H(X) = -\sum_{x \in \mathcal{X}}p(x)\log{p(x)} = E[-\log{p(X)}] \]$H(X)$로 얻은 수가 정보의 양이라 할 수 있다.이때 $\log$의 밑은 도메인에 따라 달라지는데, 밑이 $2$인 경우 비트, $e$인 경우 nat(natural unit), $10$인 경우에는 dit라고 부른다. 정보의 불확실성, 그 의미는?확률적으로, 어떤 사건이 더 정보를 가질까?'정보'라고 하니 유용성과 엮여 직관적이지 않게 느껴질 수도 있다.항상 일어.. 2023. 4. 14. 이전 1 다음 728x90 반응형