Measure Theoretic Probability

$\sigma$-algebra

A non-empty collection $\mathcal{E}$ of subsets of $E$ is called an algebra if it is closed under finite unions and complements. $\mathcal{E}$ is $\sigma$-algebra if it is closed under countable unions and complements. In math:
$\quad 1.\ A \in \mathcal{E} \Rightarrow E \setminus A \in \mathcal{E}$
$\quad 2.\ A_1, A_2, \dots \in \mathcal{E} \Rightarrow \bigcup_{n \ge 1} A_n \in \mathcal{E}$

[Corollary]
A $\sigma$-algebra \mathcal{E} on E is closed under countable intersections
\[ \bigcap_{n \ge 1}A_n = E \setminus \bigcup_{n \ge 1} (E \setminus A_n) \]

 

1번) $A$가 시그마대수의 원소면, complement 역시 시그마대수이다

2번) 시그마대수의 원소들의 합집합 역시 시그마대수이다.

 

$A$의 확률을 구할 수 있으면, $A^c$의 확률 역시 구할 수 있다. (여사건의 확률 등에 적용 가능)

 

※ $E$의 시그마대수는 적어도(항상) $\varnothing$을 포함한다. 따라서 $\mathcal{E} = \{\varnothing, E \}$는 trivial sigma-algebra 라고 부른다.

Example

$E = \{1, 2, 3\}$ 일때, 다음 $\mathcal{E}$ 중 시그마 대수가 아닌 것은?

(1) $\mathcal{E} = \{ \varnothing, \{ 1,2 ,3 \} \}$

(2) $\mathcal{E} = \{ \varnothing, \{1\}, \{2, 3\}, \{ 1,2 ,3 \} \}$

(3) $\mathcal{E} = \{ \varnothing,  \{1, 3\}, \{ 1,2 ,3 \} \}$

 

(3)은 시그마대수가 아니다. $\{1, 2, 3\} \setminus \{1, 2 \} = \{2\} \notin \mathcal{E}$ 이기 때문이다.

 

Borel $\sigma$-algebra

$\mathbb{R}^d$의 Borel sigma-algebra는 $\mathcal{B}(\mathbb{R}^d)$로 표기한다.

(Not rigorous definition)
Borel sigma-algebra($\mathcal{B}(\mathbb{R}^d)$) is the smallest sigma-algebra containing all open sets in $\mathbb{R}^d$.
The sets in $\mathcal{B}(\mathbb{R}^d)$ are called the Borel sets.

일반적으로 우리는 보렐 시그마 대수를 다루게 된다. 보렐 시그마 대수는 가장 일반적인 시그마 대수이기에 편하게 다룰 수 있다.

Examples of $\mathcal{B}(\mathbb{R})$

• all open intervals $(a,\ b)$ - 정의상 보렐 대수 집합이다.
• all semi-open intervals $(a,\ b]$
  • $(a,\ b] = \bigcap_{n \ge 1}(a,\ b + \frac{1}{n})$
• all singleton sets $\{ a \}$
  • $\{ a \} = \bigcap_{n \ge 1} (a - \frac{1}{n},\ a + \frac{1}{n})$
• all closed intervals $[a, b]$
  • $[a,\ b] = [a,\ b) \cup \{ b \}$

Measures

Measurable space
집합 $E$와 $E$에서 정의된 시그마대수 $\mathcal{E}$에 대하여 $(E, \mathcal{E})$는 measurable space라 하고, 모든 $\mathcal{E}$의 원소들은 measurable sets이다.

Measures and measure spaces
$(E, \mathcal{E})$가 measurable space라 할 때, $(E, \mathcal{E})$에서 정의된 measure는 다음을 만족하는 mapping $\mu: \mathcal{E} \to \mathbb{R}^+$ 이다.
$\quad 1.\ \mu(\varnothing) = 0$
$\quad 2.\ \mu\left( \bigcup_{n \ge 1}A_n \right) = \sum_{n \ge 1} \mu(A_n)$ for every disjoint $(A_n)_{n \ge 1}$
삼중항 (triplet) ($E,\ \mathcal{E}$,\ \mu)를 measure space 라 부른다.

※ $\mathbb{R}^+$ 는 non-negative 이다.

Properties of measures

(Monotonicity) $A \subset B$이면 $\mu(A) \le \mu(B)$

(Union bound) $(A_n)_{n \ge 1}$에 대하여, $\mu\left( \bigcup_{n \ge 1}A_n \right) \le \sum_{n \ge 1}\mu(A_n)$

 

Probability space

$\Omega$는 sample space(표본공간)이라 하고, $\Omega$의 원소 $\omega$를 outcome이라 한다. (all possible outcomes)

$\mathcal{H}$는 event space(사건공간)이라 하고, 부분집합 $A \in \mathcal{H}$를 event(사건)이라 한다.

$(\Omega, \mathcal{H})$은 measurable space이다.
probability measure(확률 측도) $\mathbb{P}$는 $(\Omega, \mathcal{H})$의 measure이고 $\mathbb{P}=1$이다. 
이때 $(\Omega, \mathcal{H}, \mathbb{P})$를 probability space(확률공간)이라 한다.

※ (event) $\mathcal{H}$ 대신에 $\mathcal{F}$나 $\mathcal{A}$로 표기하는 경우도 있다.

 

Measurable mappings (가측함수)

$(E, \mathcal{E})$와 $(F, \mathcal{F})$가 measurable space라 하자.
A mapping $f: E \to F$ is measurable if for any inverse image of $B \in \mathcal{F}$ is measurable
\[ f^{-1}(B) := \{ x \in E | f(x) \in B \} \in \mathcal{E} \]

$f$를 $\mathcal{E} / \mathcal{F}$-measurable 이라고 부른다.

 

Random variables and distributions

Random variables (확률변수)

확률공간 $(\Omega, \mathcal{H}, \mathbb{P})$와 측도공간 $(E, \mathcal{E})$에 대하여 다음을 만족하면 $\mathcal{H/E}$-measurable mapping을 확률변수(random variable)이라 한다.
\[ \forall A \in \mathcal{E}, \quad X^{-1}(A) := \{ \omega \in \Omega | X(\omega) \in A \} \in \mathcal{H} \]

이때 $X$를 $E$-valued random variable이라 부른다.

※ 확률변수는 (변수가 아니라) 사상(mapping)이다. (기초 확률 수업에서 확률변수를 함수로 설명하는 이유이다.)

 

Distribution (분포)

$X$가 $(E, \mathcal{E})$의 확률변수일 때, $X$의 분포는 다음으로 정의된다.
\[ \forall A \in \mathcal{E}, \quad \mu(A) = \mathbb{P}(X^{-1}(A)) := \mathbb{P}(X \in A) \]

확률공간 $(\Omega, \mathcal{H}, \mathbb{P})$는 종종 background probability space, 측도공간 $(E, \mathcal{E}, \mu)$ 를 induced probability space라고 한다.

 

Examples of Random variables 

두개의 동전을 던지는 상황을 상상해보자. 이때 background probability space는

• Sample space($\Omega$): {HH, HT, TH, TT}
• Set of events($\mathcal{H}$): {HH}, {HH, HT, TH}, ...
• Probability measure: $\mathbb{P}$

확률변수 $X$를 정의하길 $X(\omega)$=$\omega$에 있는 앞면의 개수라 하자. 즉

\[ X(HH)=2, \quad X(HT)=1, \quad X(TH)=1, \quad X(TT)=0 \]

 

$X$의 분포는 다음과 같다.

• $\mu(\{2\}) = \mathbb{P}(X^{-1}(\{2\})) = \mathbb{P}(\{ HH \})$
• $\mu(\{1\}) = \mathbb{P}(X^{-1}(\{1\})) = \mathbb{P}(\{ HT, TH \})$
• $\mu(\{0\}) = \mathbb{P}(X^{-1}(\{0\})) = \mathbb{P}(\{ TT \})$

Distribution function (분포함수)

$X$가 $(\mathbb{R}, \mathcal{B}(\mathbb{R}))$의 확률변수라 하자. $X$의 분포함수(누적분포함수, cumulative distribution function, CDF)는 다음과 같이 정의한다.
\[ F(x) := \mu((-\infty, x]) = \mathbb{P}(X^{-1}((-\infty, x])) = \mathbb{P}(X \le x) \]

Probability density function (확률밀도함수, PDF)

$F(x)$는 확률밀도함수 $f(x)$로 정의할 수 있다.
\[ F(x) = \int_{-\infty}^{x} f(x) \mathrm{d}x \]

$f(x)$는 $\sigma$-finite measure 로 정의되어야 한다. (르베그 측도, 셈 측도 등)

 

Probability mass function (확률질량함수, PMF)

$X$가 측도공간 $(E, \mathcal{E}, \mu)$에서 정의된 확률변수고, $\mathcal{E}$가 discrete할 때, $X$의 확률질량함수는 counting measure(셈측도) $\nu$ 를 통해 density를 정의한다.
\[ \mu(A) = \int_A f(x) \nu(\mathrm{d}x) = \sum_{x \in A}f(x) \]

counting measure의 예로 $\nu(A)$를 '$A$의 원소의 개수' 가 가능하다.

반응형

Expectation (기대값)

$X$의 기대값은 다음과 같이 정의한다.

\[ \mathbb{E}[X] = \int_{\Omega}X(\omega) \mathbb{P}(\mathrm{d} \omega) = \int_{\Omega}X(\omega) \mathrm{d} \mathbb{P}(\omega) = \int_{\Omega}X(\omega) \mathrm{d} \mathbb{P} \]

Law of the unconscious statistician (LOTUS, 무의식적 통계학자의 법칙)

\[ \mathbb{E}[X] = \int_{\Omega} X(\omega) \mathbb{P}(\mathrm{d} \omega) = \int_E x \mu(\mathrm{d} x) \]

 

Joint distributions (결합분포)

$X$ be a $(E, \mathcal{E})$-valued random variable with distribution \mu and $Y$ be a $(F, \mathcal{F})$-valued random variable with distribution $\nu$ sharing a common probability space.
The pair $Z: \omega \mapsto (X(\omega), Y(\omega))$ is a $(E \times F, \mathcal{E} \otimes \mathcal{F})$-valued random variable with distribution
\[ \pi(A \times B) = \mathbb{P} (\{X \in A\} \cap \{Y \in B\}) \ \text{for}\ A \in \mathcal{E}, B \in \mathcal{F} \]

 

Conditional distributions (조건부 분포)

일반적으로 조건부 분포는 다음과 같이 정의한다.

\[ \mathbb{P}(A | B) = \cfrac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}, \quad \mathbb{P}(X \in A | Y \in B) = \cfrac{\mathbb{P}(\{ X \in A \} \cap \{ Y \in B \})}{\mathbb{P}(Y \in B)} \]

 

측도론을 도입하면 conditioning을 확장할 수 있다.

$(\Omega, \mathcal{H}, \mathbb{P})$가 확률공간이고 $\mathcal{F} \subseteq \mathcal{H}$ 이라 하자. $X,\ Y$가 확률변수일 때 다음과 같은 conditioning을 정의할 수 있다.

• $\mathbb{P}(A | \mathcal{F})$: 시그마대수에서 정의된 (사건의) 조건부 확률
• $\mathbb{P}(X \in A | \mathcal{F})$: 시그마대수에서 정의된 $X$의 조건부 분포
• $\mathbb{P}(X \in A | Y)$: distribution of $X$ conditioned on $Y$. $\mathbb{P}(X \in A | \sigma(Y))$로 줄여서 표기하기도 한다.