본문 바로가기
728x90
반응형

전체 글268

빅데이터분석기사 필기 합격 후기 (10회) (유관 전공) 빅데이터 분석기사 필기 합격 후기시험 보기 전 나의 상태직장인은 아니지만 기사 자격증 중에서 빅분기가 제일 쉽고(?) 내 전공이랑 연관되어있어서 금방 공부했다.총 4개 단원 중에서 2, 3, 4단원은 이미 거의 알고 있는 내용이어서 1단원만 집중하면 될 것 같았다.아마 현업자들도 1단원만 공부하고, 2~4단원은 조금만 정리하면 될 것 같다.1단원은 실무랑 살짝 동떨어진 내용도 많고, 데이터베이스 관련 내용은 현업자들도 사용하지 않는 것이면 자세히 알지 못할 것 같다.그래도 과락만 아니면 되니 그렇게 큰 부담은 없었다. 필기 시험 공부 방법생긴지 겨우 5년된 시험이고, 기출문제도 공개되어 있지 않기 때문에(시험지를 걷어가기 때문에) 100% 기출은 없다.시중에 돌아다니는 기출문제도 100%복원한 건 아니고.. 2025. 5. 1.
[비모수 통계] 비모수 통계학은 무엇인가? 비모수 통계학 (Nonparametric Statistics)모수적 통계학 (Parametric Statistics)의 가정과 한계처음 통계를 배울 때 가장 많이 접하는 내용은 사실 모수적 통계학이다. 여기서의 통계적 분석은 보통 다음의 내용을 가정(전제)하여 전개된다.모집단이 어떤 분포를 따른다. (보통 정규분포)그 분포는 모수(parameter)로 요약된다. 예를 들어, 베르누이 분포는 하나의 모수 (성공확률: \( p \)), 정규분포는 두개(평균과 분산: \( \mu, \sigma^2\) )로 요약된다.우리가 가진 표본(sample)은 이 모집단에서 무작위로 추출된 것이다.이런 가정이 가능한 이유는 중심극한정리때문이다. 표본 크기가 충분히 크다면(이론상 \( n \ge 30 \), 모집단 분포에 .. 2025. 4. 6.
[Markov Chains] 장기 확률 (limiting probabilities, period, ergodic, stationary probability) Markov Chain and its Stationary Distributiontwo-staet Markov chain의 전이확률이 다음과 같다고 하자.\[P = \begin{bmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{bmatrix} \]이제 \( P^4 \)와 \( P^8 \)을 계산해보면 다음과 같다.\[ P^4 = \begin{bmatrix} 0.5749 & 0.4251 \\ 0.5668 & 0.4332 \end{bmatrix}, \ P^8 = \begin{bmatrix} 0.572 & 0.428 \\ 0.570 & 0.430 \end{bmatrix} \]이는 \( P^8 \)이 \( P^4 \)와 거의 동일하다는(identical) 것을 의미한다.또한, \( P^8 \)의 .. 2025. 1. 8.
[Markov Chains] 여러가지 상태 분류 (accessible, communicate, irreducible, recurrent, transient) Classification of StatesAccessible, Communicate, Irreducible어떤 음이 아닌 수 \( n \ge \)에 대하여 \( P_{ij}^n > 0\)이면 상태 \( j \)는 \( i \)로부터 accessible(도달 가능)하다고 한다.만약 \( j \)가 \( i \)로부터 not accessible하다면, \begin{align} P(\text{ever enter }j \mid \text{start in }i) &= P\bigg( \bigcup_{n=0}^{\infty}\{X_n = j \} \mid X_0 = i \bigg) \\ &\le \sum_{n=0}^{\infty}P(X_n = j \mid X_0 = i) = \sum_{n=0}^{\infty}P_{.. 2025. 1. 6.
[Markov Chains] Chapman-Kolmogorov Equations (체프만-콜모고로프 방정식) Chapman-Kolmogorov Equation: Transition Rules for Stochastic Processes앞서 one-step transition probability \( P_{ij} \)을 정의했다.이제 일반화하여 \( n \)-step transition probability(n단계 전이확률)를 \( P_{ij}^n \)로 표기하고 정의할 것이다.state \( i \)에서 \( n \)번의 추가 전이를 거쳐 state \( j  \)에 있을 확률을 \( P_{ij}^n \)로 정의한다. 즉,\[ P_{ij}^n = P(X_{n+k} = j \mid X_k = i), \quad n \ge 0,\ i,j \ge 0 \]당연히 \( n=1 \)인 경우에는 \( P_{ij}^1 = P.. 2025. 1. 4.
[Markov Chains] Basic Concepts (마르코프 체인 개념) Markov ChainsIntroduction어떤 process가 각 시간마다 값을 가진다고 하자. \( X_n \)을 시간 \( n \)에서의 값이라고 할 때, 연속적인 값 \( X_0, X_1, X_2, \dots \)에 대한 확률 모델을 만들어보자.아주 간단한 모델로, \( X_n \)이 독립적인 확률변수라고 가정할 수 있지만, 이런 가정은 확실히 부적절하다. 예를 들어, \( X_n \)이 어떤 증권(구글 주식 등)의 \( n \) 추가 거래일 종료시점의 가격이라 하자.그런데 \( X_{n+1} \)가 \( X_0, X_1, \dots, X_n \)과 독립이라고 가정하는것은 타당하지 않을 것이다.만약 주식의 종가가 이전 종가에만 의존한다고 가정하는 것은 합리적일 수 있다.즉, \( X_{n+1} .. 2024. 12. 23.
728x90
반응형

티스토리툴바