728x90 반응형 전체 글266 Double Descent: new approach of bias-variance trade-off Double Descent: Modern approach of bias-variance trade-offclassic ML의 관점에서, bias-variance trade-off는 model complexity와 관련있다.이전 포스트를 참고해도 좋다.https://trivia-starage.tistory.com/238 Overfitting을 막는 방법들 (regularization, cross-validation, early stopping)Overfitting and Regularization ※ The blog post is based on lecture materials from Xavier Bresson, a professor at the National University of Singapore.. 2024. 3. 3. Overfitting을 막는 방법들 (regularization, cross-validation, early stopping) Overfitting and Regularization※ The blog post is based on lecture materials from Xavier Bresson, a professor at the National University of Singapore. The lecture materials can be found on the professor's LinkedIn. You can also found it at [1]. Under-fitting and over-fittingUnderfittinglearner가 충분한 표현력을 가지지 못함.training set에서 error를 생성.training/testing error 모두 높다.방지 방법: learner의 expressivity(또는 c.. 2024. 3. 2. [CS246] Bandits (2) - Epsilon-Greedy Algorithm Epsilon-Greedy AlgorithmAlgorithmFor $t=1:T$ 동안 다음의 단계로 Explore/Exploit를 결정한다.$\epsilon_t = O(\frac{1}{t})$. $\epsilon_t$는 time $t$가 지날때마다 $1/t$로 감소한다$\epsilon_t$의 확률로 Explore: arm은 uniformly at random하게 선택하고, 선택된 arm을 탐색$1-\epsilon_t$의 확률로 Exploit: empirical mean이 가장 높은 arm을 선택한다. Auer et al. 에 따르면, 적절한 $\epsilon_t$를 고르면 다음이 성립한다고 한다.\[ R_T = O(k \log T) \Rightarrow \cfrac{R_T}{T} = O\left( \cf.. 2024. 2. 27. [CS246] Bandits (1) - Problem Settings Multi-Armed Bandit: Learning through Experimentation세상에는 탐색을 통해 특정 전략을 수립할 필요가 있다.구글 광고:광고 수익을 최대화 하고 싶어한다. 과거에는 pay by impression(CPM) 전략을 사용했으나 광고 효과(effectiveness)는 알 수 없었다는 점이 문제였다. 현재는 pay per click(CPC) 전략을 사용하고 있으며 기대수익(expected revenue)를 찾는 것이 핵심이다.query $q$에 대하여 광고 $a$의 기대수익은 다음과 같이 계산된다.\[ E[\text{revenue}_{a, q}] = P(\text{click}_a | q) \cdot \text{amount}_{a,q} \]$q$의 $a$의 입찰(bid)는 $.. 2024. 2. 23. 20 Ways of Encoding Categorical Features Library for Categorical Features Encoding [3]의 파이썬 패키지에 다양한 categorical encoding이 구현되어있다.import category_encoders as ceencoder = ce.BackwardDifferenceEncoder(cols=[...])encoder = ce.BaseNEncoder(cols=[...])encoder = ce.BinaryEncoder(cols=[...])encoder = ce.CatBoostEncoder(cols=[...])encoder = ce.CountEncoder(cols=[...])encoder = ce.GLMMEncoder(cols=[...])encoder = ce.GrayEncoder(cols=[...])encod.. 2024. 1. 30. Multivariate Gaussian Distribution (다변량 정규분포, 다변량 가우시안 분포) Multivariate Gaussian Distribution and its joint, marginal, conditional, MLEMultivariate Gaussian Distribution다변량 가우시안 분포는 다음과 같은 확률밀도함수(pdf)를 갖는다. \[ p(x; \mu, \Sigma) = \cfrac{1}{(2 \pi)^{n/2} |\Sigma|^{1/2}} \exp \left[ -\cfrac{1}{2} (x-\mu)^T \Sigma^{-1} (x-\mu) \right] \]이때 $n$은 데이터의 차원, $x \in \mathbb{R}^{n}$, $\mu \in \mathbb{R}^{n}$, $\Sigma \in \mathbb{R}^{n \times n}$ 이다.$x$는 random ve.. 2024. 1. 23. 이전 1 ··· 5 6 7 8 9 10 11 ··· 45 다음 728x90 반응형
