Ch1. Probability Models

Keywords

Probability Models, Properties of Probability Models, Uniform Probability on Finite Spaces, Conditional Probability and Independence, Continuity of $P$

확률 모형, 확률 모형의 성질, 균등 확률, 조건부 확률, 베이즈 정리, 독립, 수렴성

 

Probability Model

확률론은 uncertainty에 대한 정확한 이해를 제공한다. 이를 이해하는 것은 예측, 의사결정, 자산 위험, 돈을 버는 것에도 도움을 준다.

 

Sample Space, $S$, 표본공간

a set that lists all possible outcomes of some unknown experiment or situation. 

sample space의 원소로는 숫자(실수)가 될 수 있고, 날씨가 될 수도 있다.

sample space의 원소는 주로 $s$로 쓴다. (즉 $s \in S$)

공집합 $\emptyset = \{ \}$ 역시 표본공간의 부분집합이 가능하다.

표본공간 내의 콤마(,)는 수학적 "또는" (or)의 의미를 갖는다.

 

Probability Measure, $P$, 확률측도

우리는 probability measure(확률측도, $P$)를 정의하자. 이 확률측도는 각 사건 $A$에 대해 확률 $P(A)$를 대응(assign, mapping)한다. 확률측도는 아래와 같은 성질을 갖는다.

1. $P(A)$는 항상 음이 아닌 실수값을 갖는다. $0 \le P(A) \le 1$.
2. 공집합 $\emptyset$에 대하여 $P(\emptyset) = 0$ 이다; 절대로 일어날 수 없는 사건이라는 뜻.
3. 표본공간 $S$에 대하여 $P(S) = 1$ 이다; 반드시 일어나는 사건이라는 뜻.
4. $P$는 가산적이다. (additive). $A_1, \ A_2, \dots, $가 finite하고 countable sequence of disjoint event라면 $P(A_1 \cup A_2 \cup \cdots ) = P(A_1) + P(A_2) + \cdots$ 이다.

 

Properties of Probability Models, 확률 모형의 기본 성질

• $P(A^\mathsf{c}) = 1 - P(A)$
• $A \subseteq B$ 는 $P(A) \le P(B)$를 내포한다.
• $P(A \cap B^{\mathsf{c}}) = P(A) - P(B)$ if $A \supseteq B $
• $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
• Law of total probability (unconditioned): $A_i$가 $S$의 partition일 때, $P(B) = \sum_{i}P(B \cap A_i)$
• Sub-additivity: $P(\bigcup_{i=1}A_i) \le \sum_{i=1} P(A_i)$

Venn diagram dipicting the subsets.

 

Uniform Probability on Finite Spaces, 유한 공간에서의 균등 확률 모형

sample space $S$가 유한하고 uniform probability measure를 가질 때, 각각의 확률을 $1 / |S|$로 대응할 수 있다. ($|S|$는 $S$의 원소의 개수). additivity를 통해 우리는 어떤 사건 $A$의 확률을

\[ P(A) = \cfrac{|A|}{|S|} \] 

임을 알 수 있다.

 

Combinatorial Principles, 조합 원리

균등 확률 모형에서는 몇가지 조합 원리가 많이 사용된다. 그 이유는 경우의 수를 세는 것이 곧 사건과 표본공간의 크기($|A|, \ |S|$)를 직접 구하여 확률을 구할 수 있기 때문이다.

 

• Counting sequences
  • the multiplication principle
• Permutations
  • length $k$ from a set of $n$ elements
  • $\cfrac{n!}{(n-k)!}$
• Counting subsets
  • $n$ choose $k$
  • $\dbinom{n}{k} = \cfrac{n!}{k! (n-k)!}$,
  • binomial coefficient(이항계수) 라고도 부른다.
• Counting subsets of subsets and partitions
  • $n$개 중에서 $l$개의 subset을 나누고, 각 subset은 $k_i$개의 원소를 가질 때
  • $\dbinom{n}{k_1} \dbinom{n-k_1}{k_2} \cdots \dbinom{n-(k_1 + \cdots k_{l-1})}{k_l} = \cfrac{n!}{k_1! \cdots k_l! (n - (k_1 + \cdots + k_l))!}$
• 특히, $l$개의 subset이 mutually disjoint하다면 $\cfrac{n!}{k_1! k_2! \cdots k_l!}$
  • multinomial coefficient(다항계수)라고도 부른다.
  • 카드게임에서, 순서를 고려하지 않은 bridge hands의 개수는 $\cfrac{52!}{13!13!13!13!} \approx 5.364474 \times 10^{28}$ 가지이다.

 

Conditional Probability, 조건부확률

일반적으로 두 사건 $A, \ B$에 대하여 $P(B) > 0$ 인 경우에, "conditional probability of $A$ given $B$"는 $P(A | B)$로 쓴다. 이는 $B$가 일어났다는 정보를 알고 있을 때, $A$가 일어날 확률을 구하는 것이이고 $A$와 $B$가 동시에 일어날 확률을 $B$가 일어날 확률로 나누어서 계산한다. (그래서 $B$가 일어나지 않았다는 것은 가정하지 않는다.)

\[ P(A | B) = \cfrac{P(A \cap B)}{P(B)} \]

그리고 조건부확률에서 확률의 곱셈정리를 유도할 수 있다.

\[ P(A \cap B) = P(A) P(B|A) \]

 

또한, 조건부확률로부터 전체확률의법칙(Law of total probability, conditional version)을 유도할 수 있다.

[Law of total probability, conditioned version]
$A_1, \ A_2, \dots $가 sample space $S$의 partition(분할)이고 각각 양의 확률을 갖는다고 하자. 이때 $P(A_i \cap B) = P(A_i)P(B|A_i)$이므로 $P(B)$를 다음과 같이 구한다. 
\[ P(B) = \sum_{i=1}P(A_i)P(B | A_i) \]

한편, 우리에게 $P(A), \ P(B), \ P(B|A)$가 주어졌을 때, $P(A|B)$를 구하고 싶을 때가 있는데, 이와 관련된 관계는 베이즈정리를 이용하여 해결한다.

[Bayes' theorem]
\[ P(A|B) = \cfrac{P(A)}{P(B)}P(B | A) \]

곱셈정리와 전체확률의 법칙, 그리고 베이즈정리를 적용할 때는 2단계 풀이를 거친다. (two-stage systems) 먼저 각 사건의 확률의 주어지고, 그 다음에 조건부 확률을 계산하게 된다. 곱셈정리는 1단계에서, 전체확률의 법칙은 2단계에서 계산된다.

 

Example 1.5.2

1번 항아리에는 빨간색, 파란색 공이 각각 3개, 2개 들어있고, 2번 항아리에는 빨간색, 파란색 공이 각각 4개, 7개 들어있다. 각 항아리가 선택될 확률은 $1/2$이고 각 공이 선택될 확률은 균등하다고 하자.

$A$는 2번 항아리가 선택되는 사건, $B$는 파란색 공이 선택되는 사건이라 할 때, $P(A|B)$를 구해보자.

\[ P(A \cap B) = P(A)P(B|A) = \cfrac{1}{2} \cfrac{7}{11} = \cfrac{7}{22} \]

\[ P(B) = P(A)P(B|A) + P(A^\mathsf{c})P(B|A^\mathsf{c}) = \cfrac{1}{2} \cfrac{2}{5} + \cfrac{1}{2} \cfrac{7}{11} \]

따라서

\[ P(A|B) = \cfrac{P(A)}{P(B)}P(B|A) = \left( \cfrac{1/2}{(1/2)(2/5) + (1/2)(7/11)} \right) \cfrac{7}{11} = \cfrac{35}{57} = 0.614 \]

 

Independence of Events, 사건의 독립

한 사건이 발생 여부에 따라 다른 사건의 확률이 영향을 받지 않는 것을 독립이라 한다.

[두 사건의 독립]
두 사건 $A$와 $B$가 $P(A \cap B) = P(A)P(B)$라면, 독립이다.

[여러 사건들의 독립]
사건 $A_1, \ A_2, \dots $들이 $P(A_{i1} \cap \cdots A_{ij}) = P(A_{i1}) \cdots P(A_{ij})$라면 독립이다.

예를 들어, 세 사건 $A, \ B, \ C$에 대하여 세 사건이 모두 독립이려면

\[ P(A \cap B) = P(A)P(B), \ P(B \cap C)=P(B)P(C), \ P(C \cap A)=P(C)P(A) \]

이 세 식을 모두 만족해야한다.

 

 

Continuity of $P$, 확률의 수렴

$A_1, \ A_2, \dots $가 다른 사건 $A$에 점점 가까워진다고(getting closer) 하자. 그러면 확률 $P(A_1), \ P(A_2), \dots$ 은 역시 $P(A)$에 가까워질 것이다. 따라서 $\lim_{n \to \infty}P(A_n) = P(A)$ 이다. (증명 생략)

 

만일 $A_1 \subseteq A_2 \subseteq A_3 \subseteq \cdots $이면 $\bigcup_{n=1}^{\infty}A_n = A$

반대로, $A_1 \supseteq A_2 \supseteq \cdots $이면 $\bigcap_{n=1}^{\infty}A_n = A$

 

[Continuity of P]
$A_1, \ A_2, \dots $에 대하여 $\{ A_n \} \nearrow A$ or $\{ A_n \} \searrow A$면
\[ \lim_{n \to \infty}P(A_n) = P(A) \]

(좌) Increasing sequence of sebsets. (우) Decreasing sequence of subsets.