mystudynote

Class imbalance의 negative effectTraining data에서 class imbalance가 존재하면, majority group의 prior probability가 증가하여 over classify된다. 따라서 minority group은 자주 misclassify된다.Minority class의 gradient component가 majority보다 작다. 즉, majority class의 gradient가 전체 gradient를 차지한다. 따라서 모델 가중치의 업데이트에는 majority의 영향이 크다. majority group의 에러는 빠르게 낮추지만 minority group의 에러는 증가시켜서 네트워크의 수렴을 늦출 수 있다.Class imbalance 예시상황: im..

GAN을 대체하여 연구되고 있는 Diffusion Model이란 무엇인가. 출처로 표시된 유튜브와 nvidia 블로그의 내용을 정리한 글이다 Generative Model(생성 모델) 먼저 Generative model은 데이터의 representation(표현)을 학습하고 데이터 자체를 모델링하는 ML 학습 방법 중 하나이다. Discriminative model은 데이터가 주어지면 별도의 확률값을 예측한다. 두 모델 간의 상호작용으로 Generative model은 실제 데이터와 다르면서도 실제처럼 보이게 하는 데이터를 합성할 수 있게 된다. 이 모델은 주로 이미지 합성, editing, inpainting, colorization, deblurring, superresolution(SR)과 같은 태..

CutPaste: Self-Supervised Learning for Anomaly Detection and Localization (CVPR 2021, Google Cloud AI Research) CutPaste: Self-Supervised Learning for Anomaly Detection and Localization We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly ..

MixMatch: A Holistic Approach to Semi-Supervised Learning (NIPS 2019), Google Research https://arxiv.org/abs/1905.02249 MixMatch: A Holistic Approach to Semi-Supervised Learning Semi-supervised learning has proven to be a powerful paradigm for leveraging unlabeled data to mitigate the reliance on large labeled datasets. In this work, we unify the current dominant approaches for semi-supervised l..

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence (NIPS 2020), Google Research https://arxiv.org/abs/2001.07685 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. In this paper, we demonstrate the power of a simple comb..

model = create_model('efficientnet_b0') model_m = create_model('efficientnet_b0') momentum = 0.999 alpha = 0.5 copy_params() #copy parameters: model_m

Adam, RMSProp optimization 알고리즘들은 adaptive learning rate를 사용하기 때문에 모든 dimension에서 learning rate를 걱정하지 않아도 된다는 장점이 있었다. 이 adaptive 방식은 Adagrad에서 처음 소개되었다. 하지만 훈련 초기부터 squared gradient의 축적은 효과적인 learning rate를 감소시켜서 최적의 solution에 도달하기 전에 훈련이 종료될 수 있다. 이 문제는 exponential moving average를 기반으로 한 adaptive 방식 (RMSProp, Adam)에서 해결되었다. 이 방식은 훈련 초기부터가 아닌, window에서 squared gradient를 누적한다. 하지만 이 방식 또한 몇 케이스에..

1. Constant class ConstantScheduler: def __init__(self, steps, lr): self.steps = steps self.lr = lr def __call__(self, step): return self.lr 2. Multistep 3. Linear class LinearScheduler: def __init__(self, steps, lr_start, lr_end): self.steps = steps self.lr_start = lr_start self.lr_end = lr_end def __call__(self, step): return self.lr_start + (self.lr_end - self.lr_start) * step / self.steps 4...

개요 Semi-Supervised Learning(SSL)은 적은 labeled data와 많은 unlabeled data로 모델을 학습시키는 머신러닝 테크닉이다. 전부 labeled data를 사용하는 Supervised와, 전부 unlabeled를 사용하는 unsupervised의 중간점에서 두 방식의 한계를 해결하기 위해 고안되었다. Semi Supervised Learning에는 많은 갈래들이 있다. 본 정리에서는 Wrapper methods 중 Self-training, Co-training에 대해서 알아보자. Wrapper methods는 가장 오래되고 잘 알려져 있는 semi-supervised learning으로, weakly supervised model로 pseudo label을 만드는..

확률분포 X의 variance(분산), covariance(공분산), Correlation, Pearson's Correlation R에 대해서 알아보자. 아래 그림의 식 (1), (2)에 해당한다. 1. Variance Variance는 random variable의 분포에 의해 결정된다. Expected value의 variation = variance. Variance는 random variable X가 기댓값 E(X)로부터 얼마나 다를까를 나타낸다. 예를 들어, 아래와 같이 같은 기댓값을 가진 두 random variable X와 Y가 있을 때, variance는 다를 수 있는 것이다. X - [3, 3, 3, 3], Y - [1, 3, 3, 5] E(X) = 3, E(Y) = 3 VAR(X) =..