본문 바로가기
728x90
반응형

Markov chain5

[Markov Chains] 장기 확률 (limiting probabilities, period, ergodic, stationary probability) Markov Chain and its Stationary Distributiontwo-staet Markov chain의 전이확률이 다음과 같다고 하자.\[P = \begin{bmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{bmatrix} \]이제 \( P^4 \)와 \( P^8 \)을 계산해보면 다음과 같다.\[ P^4 = \begin{bmatrix} 0.5749 & 0.4251 \\ 0.5668 & 0.4332 \end{bmatrix}, \ P^8 = \begin{bmatrix} 0.572 & 0.428 \\ 0.570 & 0.430 \end{bmatrix} \]이는 \( P^8 \)이 \( P^4 \)와 거의 동일하다는(identical) 것을 의미한다.또한, \( P^8 \)의 .. 2025. 1. 8.
[Markov Chains] Chapman-Kolmogorov Equations (체프만-콜모고로프 방정식) Chapman-Kolmogorov Equation: Transition Rules for Stochastic Processes앞서 one-step transition probability \( P_{ij} \)을 정의했다.이제 일반화하여 \( n \)-step transition probability(n단계 전이확률)를 \( P_{ij}^n \)로 표기하고 정의할 것이다.state \( i \)에서 \( n \)번의 추가 전이를 거쳐 state \( j  \)에 있을 확률을 \( P_{ij}^n \)로 정의한다. 즉,\[ P_{ij}^n = P(X_{n+k} = j \mid X_k = i), \quad n \ge 0,\ i,j \ge 0 \]당연히 \( n=1 \)인 경우에는 \( P_{ij}^1 = P.. 2025. 1. 4.
[Markov Chains] Basic Concepts (마르코프 체인 개념) Markov ChainsIntroduction어떤 process가 각 시간마다 값을 가진다고 하자. \( X_n \)을 시간 \( n \)에서의 값이라고 할 때, 연속적인 값 \( X_0, X_1, X_2, \dots \)에 대한 확률 모델을 만들어보자.아주 간단한 모델로, \( X_n \)이 독립적인 확률변수라고 가정할 수 있지만, 이런 가정은 확실히 부적절하다. 예를 들어, \( X_n \)이 어떤 증권(구글 주식 등)의 \( n \) 추가 거래일 종료시점의 가격이라 하자.그런데 \( X_{n+1} \)가 \( X_0, X_1, \dots, X_n \)과 독립이라고 가정하는것은 타당하지 않을 것이다.만약 주식의 종가가 이전 종가에만 의존한다고 가정하는 것은 합리적일 수 있다.즉, \( X_{n+1} .. 2024. 12. 23.
[Sampling] Markov Chain Monte Carlo (MCMC) (5) - Diagnosis MCMC diagnosis: convergence, correlations, CLT, effective sample size (ESS) MCMC: Pros and Cons(+) high dimensional data에서 잘 동작한다.(+) Metropolis-Hastings 알고리즘과 같이 general-purpose sampler로 확장이 쉽다(+) 구현이 쉬운 편이다(-) sequential한 성질 때문에 대규보 데이터로 확장이 어렵다 (not really scalable)(-) 어떤 chain이 target distribution에 도달하는지 명확하지 않다.(-) 수렴 지표가 명확하지 않다.그렇다면 무엇이 더 좋은 MCMC 알고리즘으로 만들까?좋은 MCMC는, high-density 영역에 오래 머.. 2024. 3. 19.
[Sampling] Markov Chain Monte Carlo (MCMC) (1) - Markov chains Motivation(앞에서와 마찬가지로) Monte-Carlo method로 기댓값을 근사하고 싶다.\[ \cfrac{1}{n} \sum_{i=1}^{n} f(x_i) \overset{\text{a.s.}}{\to} \mathbb{E}_{p(x)}[f(x)], \quad x_1, \dots, x_n \overset{\text{i.i.d.}}{\sim} p(x) \] rejection sampling과 importance sampling은 $p(x)$ 대신 샘플링이 쉬운 $q(x)$를 이용했다. (indirectly sample from distributions easier to sample) 그러나 i.i.d. 샘플링은 고차원 데이터(high-dimensional data)에는 적합하지 않다. 이전 샘플.. 2023. 9. 28.
728x90
반응형

티스토리툴바