조건부확률과 독립 (Conditioning, Independence)

Section 8. Conditioning and Independence. 조건부확률과 독립

Conditional distribution of $Y$ given $X=x$
\[ P(Y \in B | X=x) = \cfrac{P(Y \in B, X=x)}{P(X=x)} \]

Conditional distribution - Discrete
\[ p_{Y|X}(y|x) = \cfrac{p_{X,Y}(x,y)}{p_X(x)} \]

Conditional distribution - Continuous

conditional density of $Y$, given $X=x$
\[ f_{Y|X}(y|x) = \cfrac{f_{X,Y}(x,y)}{f_X(x)} \]

따라서 확률 $P(a \le Y \le b|X=x)$를 구하면
\[ P(a \le Y \le b|X=x) = \int_a^b f_{Y|X}(y|x) dy \]

위의 정의와 식에서 보듯이, 조건부확률을 구하기 위해서는 주변확률(marginal)을 구해야한다.

 

Example

$f_{X,Y}(x,y) = 4x^2y + 2y^5 (0 \le x \le 1, \ 0 \le y \le 1)$일 때, $X, Y$가 독립인지 알아보자.

$f_X(x) = 2x^2 + (1/3)$이고 $f_Y(y) = \frac{4}{3}y + 2y^5$를 구한 후 두 함수를 곱한다.

$f_{X, Y}(x, y) \neq f_X(x) f_Y(y)$이므로 두 확률변수 $X, Y$는 독립이 아니다.

 

 

Independence of Random Variables

Independent random variables

$X, Y$가 각각 실수($\mathbb{R}$)의 부분집합 $B_1, B_2$의 원소일 때, 다음을 만족하면 독립이다.
\[ P(X \in B_1, Y \in B_2) = P(X \in B_1) P(Y \in B_2) \]

위 정의를 아래의 표현으로 바꿀 수 있다.
\[ P(a \le X \le b, c \le Y \le d) = P(a le X \le b)P(c \le Y \le d) \ (a \le b \text{ and } c \le d) \]

For discrete random variables, 
\[ p_{X,Y}(x,y) = p_X(x) p_Y(y) \text{ or } p_{Y|X}(y|x) = p_Y(y) \]
$n$개의 확률변수로 일반화하면
\[ p_{X_1, \dots , X_n}(x_1, \dots, x_n) = p_{X_1}(x_1) \cdots p_{X_2}(x_n) \]

For (absolutely) continuous random variables,
\[ f_{X,Y}(x,y) = f_X(x) f_Y(y) \text{ or }  f_{Y|X}(y|x) = f_Y(y) \]
$n$개의 확률변수로 일반화하면
\[ f_{X_1, \dots , X_n}(x_1, \dots, x_n) = f_{X_1}(x_1) \cdots f_{X_2}(x_n) \]

Note: $X_1, \dots , X_n$은 각자 다른 분포의 확률변수여도 된다.

 

위 3~4가지 정의만으로도 $X, Y$의 독립을 판단하기는 쉽지 않다. 

아래 정리를 이용하면 보다 쉽게 독립을 판단할 수 있다.

두 확률변수 $X, Y$가 독립이라면, 두 확률변수 $f(X), g(Y)$ 역시 독립이다.

Note: $X, Y$가 독립이면 $X^3$과 $3Y-2$ 역시 독립이다.

$n$개의 데이터가 i.i.d.(independent and identically distributed) 확률변수 $X_1, \dots , X_n$이라 할 때, joint density(or joint pmf)는 다음과 같다.
\[ f_{X_1, \dots, X_n}(x_1, \dots, x_n) = f_X(x_1) \cdots f_X(x_n) \]

Note: i.i.d 의 경우 같은 분포에서 얻은 확률변수이기 때문에 아래첨자는 똑같은 $X$로 표기할 수 있다.

 

Example

$X_1, \dots, X_n \sim \text{Exp}(\lambda)$라 할 때 joint pdf는

$f_{X_1, \dots, X_n}(x_1, \dots, x_n) = \lambda e^{-\lambda x_1} \cdots \lambda e^{-\lambda x_n} = \lambda^n e^{-\lambda \sum_{i=1}^{n}x_i}$