확률변수의 변환, Change of Variable

 

 

Section 6. One-Dimensional Change of Variable

Introduction

확률변수 $X$의 분포를 알고 있다고 하자. (즉, 확률질량/밀도함수도 유도할 수 있다.)

이 때 어떤 확률변수 $Y$가 $X$의 함수로 이루어져 있다고 하자. ($Y = h(X), h:\mathbb{R} \to \mathbb{R}$)

즉 $Y(s) = h(X(s)), s \in S$일 때, $Y$의 분포를 알 수 있을까?

Discrete Case

이산확률변수의 경우, 굉장히 직관적으로 이해할 수 있다. $h(x) = y$을 만족하는 $x$의 집합이 존재하여 $P(X \in \{x : h(x)=y \})$를 직접 계산하면 된다.

이산확률변수 $X$의 확률(질량)함수를 $p_X$라 하자. 함수 $h:\mathbb{R} \to \mathbb{R}$에 대하여 새로운 확률변수$Y=h(X)$의 확률(질량)함수를 $p_Y$라 할 때, 
\[ p_Y(y) = \sum_{x \in  h^{-1}\{y\}}p_X(x) \]

Example 2.6.1

$X$는 공정한 동전 3개를 던져서 윗면이 나온 개수라 하자. 확률변수 $Y$를 정의하기를, $X \ge 1$이면 $Y=1$, $X = 0$이면 $Y=0$이라 하자. $Y=h(X)$에 대하여 $h(0)=0, h(1)=h(2)=h(3)=1$이다. 

따라서 $h^{-1}\{0\} = \{0\}, h^{-1} = \{1\} = \{1, 2, 3\}$이므로 $P(Y=0)=P(X=0)=\frac{1}{8}, P(Y=1)=P(X=1)+P(X=2)+P(X=3)=\frac{7}{8}$이다.

Continuous Case

연속확률변수의 경우는 좀 복잡하다. 게다가 $Y$가 연속함수가 되지 않을 수도 있다. 

$X$가 (absolutely) 연속확률변수이고 밀도함수가 $f_X$라 하자. 함수 $h:\mathbb{R} \to \mathbb{R}$가 미분가능하고 단조증가/단조감소(strictly increasing or decreasing)하고, 새로운 확률변수$Y=h(X)$의 밀도함수를 $f_Y$라 할 때,
\[ f_Y(y) = f_X(x)(h^{-1}(y)) \left\vert \cfrac{d}{dy}h^{-1}(y) \right\vert  = f_X(x)(h^{-1}(y)) / |h^{'}(h^{-1}(y))| \]

Note: 다변수함수로 확장하면 $|h^{'}(h^{-1}(y))|$는 야코비 행렬이 된다.

 

proof

$Y=h(X)$의 $h$가 monotone하다고 하자. 

\[ F_Y(y) = P(h(X) \le y) = \begin{cases} P(X \le h^{-1}(y)) = F_X(h^{-1}(y)) \quad \quad \quad h \text{ is } \nearrow \\ P(X \ge h^{-1}(y)) = 1 - F_X(h^{-1}(y)) \quad h \text{ is } \searrow \end{cases} \]

따라서 $y$에 대하여 미분하면

\[ f_Y(y) = \begin{cases} f_X(h^{-1}(y)) \cfrac{d}{dy}h^{-1}(y) \quad \quad \quad h \text{ is } \nearrow \\ f_X(h^{-1}(y)) \cdot \left( -\cfrac{d}{dy}h^{-1}(y) \right) \quad h \text{ is } \searrow  \end{cases} \]

 

Example 2.6.4

$X \sim U[0, 1]$이고 $Y=3X$일 때, $Y$의 밀도함수를 구해보자. 먼저 누적분포함수를 구하면

$F_Y(y) = P(Y \le y) = P(3X \le y) = P(X \le \frac{y}{3}) = F_X(\frac{y}{3})$

$f_X(x) = 1 \ (0 \le x \le 1)$이므로 따라서 밀도함수는

$f_Y(y) = f_X(\frac{y}{3}) \cdot \frac{1}{3} = \cfrac{1}{3}, \ (0 \le y \le 3)$

 

Example 2.6.6

$X \sim U[0, 1]$이고 $Y = \ln{(1/X)}$라 할 때, $Y$의 밀도함수를 구해보자.

$F_Y(y) = P(Y \le y) = P(\ln{(1/X)} \le y) = P(X \ge e^{-y}) = 1 - P(X \le e^{-y}) = 1 - e^{-y}$이므로 $f_Y(y) = e^{-y}$

이때 $y$의 범위는 $0 \le x \le 1$에서 $0 \le e^{-y} \le 1이므로 \ y \ge 0$이다.

 

※ $y$의 범위를 반드시 명시해주어야한다.

※ 위의 공식을 그대로 이용하면 $h(x) = \ln{(1/x)}$에서 $h'(x) = -1/x$, $h^{-1}(y)=e^{-y}$이므로 $f_Y(y)=e^{-y}$