728x90 반응형 Decision tree7 [Data Science] Decision Tree - GINI index와 CART 알고리즘 GINI Index on NodeFormula어떤 attribute에 의하여 클래스 개수에 대한 tuple을 얻을 것이다. 이 tuple을 이용하여 각 클래스 별 비율 $p_i$를 구할 수 있다. $n$개의 클래스에 대하여 지니계수는 다음과 같이 정의한다.\[ Gini= 1-\sum_{i=1}^{n} p_i^2 \] Node Impurity의 최대와 최소node impurity가 가장 클 때는 $C$개의 클래스 집합에서, 해당 노드가 모든 클래스들이 모두 같은 비율로 나누어지면 $p_i = 1/C$이므로 $Gini_{max} = 1-1/C$이다.Node impurity가 가장 작을 때는 해당 노드가 하나의 클래스로만 나눠진 경우이다. 이 경우 하나의 $p_i=1$이고 나머지는 $p_j=0(j \neq i.. 2023. 4. 16. 이전 1 2 다음 728x90 반응형
