728x90 반응형 data science42 [Data Science] Mediator, Moderator Mediator (intermediate variable, mediating variable, 매개변수)두 변수 (주로 독립변수와 종속변수)의 관계(이유, 매커니즘 등)를 설명한다.그러나 매개변수 자체가 인과관계(causality)를 의미하지 않는다. (모델링이 가능하다는 것이다) 예시로 운동($X$)이 정신건강($Y$)에 미치는 영향에 대한 가설($X \to Y$)을 고려해보자.그러나 실제로는 자존감이라는 매개변수($Me$)가 운동에 영향을 받고, 자존감이 정신건강에 영향을 주는 모형으로 설명할 수 있다. Mediation Effiect어떤 변수 $M$이 mediator의 효과가 있는지 알아보기 위해서 3개의 regression이 필요하다.$Y = b_0 + b_1X + e$$M = b_0 + b_2X.. 2023. 5. 15. Dummy coding, Effect Coding 범주형 변수(categorical variables)를 regression model의 input으로 사용할 때 2가지 방법을 고려할 수 있다.예시로 4개의 범주(초등, 중등, 고등, 초등교육 미만)를 사용한다. $G = \{ G_1,\ G_2,\ G_3,\ G_4 \}$$G_1$: Primary$G_2$: Secondary$G_3$: Post-secondary$G_4$: Less than primaryDummy coding4개의 범주에 대하여 해당 범주면 1, 아니면 0으로 할당하는 방법을 생각할 수 있다.이때 마지막 범주의 경우 모두 0으로 표현하면 $k$개의 범주에 대하여 길이가 $(k-1)$개의 더미만 필요하다. Note: One-hot encoding은 $k$개의 범주를 $k$개의 더미 변수로 .. 2023. 5. 15. [Data Science] Logistic Regression Class Probability Estimation많은 task중에서 어떤 instance가 주어졌을 때 어떤 class에 해당할지 예측하고 싶다.예를 들어 fraud detection은 baking이나 commerce에서 중요한 이슈이다.다행히도, linear model을 이용하여 binary class일 확률을 예측할 수 있다. \[ f(\mathbf{x}) = w_0 + w_1 x_1 + \cdots + w_n x_n \]그러나 우리가 예측할 class일 확률은 $[0, 1]$인데, $f(\mathbf{x})$의 범위는 $(-\infty, \infty)$이다. 이를 해결하기 위해 log-odds를 도입한다.odd는 likelihood of an event로, 일어날 확률와 일어나지 않는 확률의 비이.. 2023. 5. 14. [Ensemble] Random Forests in Python (scikit-learn) Setupbagging과 random forest를 실습하기 위해 필요한 라이브러리를 import하자.# To support both python 2 and python 3from __future__ import division, print_function, unicode_literals# Common importsimport numpy as npimport os# to make this notebook's output stable across runsnp.random.seed(42)# To plot pretty figures%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltfrom matplotlib.colors impor.. 2023. 5. 13. [Ensemble] Random Forests Random ForestsRandom Forests는 Bagging algorithm의 대표적인 방법이다.전체 데이터가 $N \times M$ 행렬이라 하자. ($N$은 instance 개수, $M$은 feature 개수)그리고 복원추출(random sampleing with replacement)을 이용하여 $N$개의 sample을 추출하여 학습데이터셋을 만든다.각 복원추출된 데이터 $D_i$마다 decision tree $C_i$를 학습한다. (각 모델이 사용하는 feature 수는 아래 Training을 참고)Note: Regression에서는 averaging, Classification에서는 max-voting을 이용한다.Bootstrap Sample$\mathcal{D} = \{ X_1, \d.. 2023. 5. 12. [Data Science] Linear Regression \[ f(\mathbf{x}) = w_0 + w_1 x_1 + w_2 x_2 + \dots \]위의 형태로 선형 데이터를 fitting하는 모델을 선형회귀(linear regression)이라 한다. 또는 아래와 같이 표현하기도 한다.\[ y = \beta_0 + \beta_1 x_1 + \cdots + \epsilon \] objective functionminimize the squared error squared error는 large error에 대하여 더 penalize한다.그러나 data sensitive하다는 단점이 있다. (erroneous data, outliers, etc.) Least Squares Method (최소제곱법, 최소자승법)least square criterion을 이용하.. 2023. 5. 12. 이전 1 2 3 4 5 6 7 다음 728x90 반응형
