Dummy coding, Effect Coding

 

범주형 변수(categorical variables)를 regression model의 input으로 사용할 때 2가지 방법을 고려할 수 있다.

예시로 4개의 범주(초등, 중등, 고등, 초등교육 미만)를 사용한다.

 

$G=\{G_1,G_2,G_3,G_4\}$

$G_1$: Primary

$G_2$: Secondary

$G_3$: Post-secondary

$G_4$: Less than primary

Dummy coding

4개의 범주에 대하여 해당 범주면 1, 아니면 0으로 할당하는 방법을 생각할 수 있다.

이때 마지막 범주의 경우 모두 0으로 표현하면 $k$개의 범주에 대하여 길이가 $(k-1)$개의 더미만 필요하다.

 

Note: One-hot encoding은 $k$개의 범주를 $k$개의 더미 변수로 인코딩한것이다.

 

아래는 더미코딩을 사용한 예시이다.

Dummy coding for a factor of 4 groups

이렇게 함으로써 $G_i(i=1,2,3)$와 $G_4$(모두 0으로 인코딩된 범주)를 비교한다.

 

다음과 같은 선형회귀식에 대하여 계수를 해석해보자. ($y$를 연봉이라 하자)

$$y=w_0+w_1{x}_1+w_2{x}_2+w_3{x}_3$$

 

각 범주마다 평균연봉 ($\bar{y}$)을 계산해보면 다음과 같다. $f(x)$에 더비 변수를 대입하면 된다.

• $X_4$: $\widehat{w_0}$
• $X_1$: $\widehat{w_0}+\widehat{w_1}$
• $X_2$: $\widehat{w_0}+\widehat{w_2}$
• $X_3$: $\widehat{w_0}+\widehat{w_3}$

 

$X_4$와 $X_1$와의 차이는 $w_1$이다.

$X_4$와 $X_2$와의 차이는 $w_2$이다.

$X_4$와 $X_3$와의 차이는 $w_3$이다.

Effect coding

더미 코딩과 비슷하지만 마지막 범주를 $[0,0,0]$이 아니라 $[-1,-1,-1]$로 인코딩한다.

이 경우 $[0,0,0]$은 전체 범주 $G$를 나타낸다.

이렇게 함으로써 $G_i(i=1,2,3)$와 $G$(전체 Education level)를 비교한다.

Effect coding for a factor of 4 groups