mystudynote

RNN(Recurrent Neural Network) Hidden state: Representation of previous input. Loop! 이전 input의 상태를 기억하고 있는다. Sequential memory인 RNN으로 sequential pattern 더 잘 이해 가능하다. 챗봇의 경우, RNN을 사용해서 input sequence of text를 인코드한다. 임베딩된 RNN 출력을 fc layer에 입력해서 classify 또는 다른 task를 수행한다. But, nature of back propagation algorithm인 short term memory & vanishing gradient 때문에 앞의 단어들(what, time)은 점점 비율이 사라진다. 첫부분의 weigh..

AutoAugment: Learning Augmentation Strategies from Data 2019/04, Ekin D. Cubuk et al. (Google Brain) https://arxiv.org/abs/1805.09501 AutoAugment: Learning Augmentation Policies from Data Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple ..

연속적인 latent vector, intractable posterior distribution, large dataset의 경우 효과적이게 추론하는 방법으로 stochastic variational inference 제안. 두 가지 중점 사항. 1) lower-bound estimator 2) 1)을 사용해서 intractable posterior에 inference model을 근사하며 추론을 효과적이게 만들었다. 즉, intractable posterior (복잡한 distribution)을 학습하는 방법을 제안한 논문 중 하나이다. [Related Works: Autoencoder] 그냥 autoencoder는 입력 데이터의 유용한 representation만을 학습하는 역할을 했다. 이 때 학..

Keyword: Plasticity, parameter-efficient method Abstract - Pruning pasticity: 프루닝된 네트워크가 원 네트워크의 성능을 회복하는 능력. 이 능력은 brain-inspired 매커니즘인 neuroregeneration, 즉 잘라낸 연결을 regenerate하는 데에 사용해서 향상될 수 있다. - Pruning method: Gradient magnitude pruning (GMP) method, named zero gradient pruning with zero-cost neuroregeneration (GraNet). ResNet50 모델에 대해서 다른 dense-to-sparse 방식들보다 본 논문에서의 sparse-to-sparse 방식이 ..

딥러닝의 모델들이 너무 deep해지면서 용도와 성능에 비해 over parameterized되었다는 문제가 있다. 또한 redundancy [1,2]가 심해서 계산과 메모리의 낭비로 이어진다. 따라서 pruning을 통해 중요도가 적은 parameter들은 제거함으로써 속도와 메모리 소비량을 개선할 수 있다. 특히 중요하지 않은 weight를 제거하며 better generalization, fewer training examples required를 실현할 수 있다고 한다. [3] 추가적으로 [3] 논문의 basic idea는 second-derivative information을 사용해서 network 복잡도와 training set error 사이에 tradeoff를 만드는 것이라고 한다. >> 더..

Deep Learning에서 확률이 왜 사용되는가?에 대한 답을 얻기 위해서 CH3을 정독하고 있다. CH3.1 Why Probability? Probability theory는 불확실한 어떤 것을 설명하기 위한 수학적인 프레임워크이다. 이는 수치화 된 불확실성의 평균과, 새로운 불확실성을 띈 것을 유도하기 위한 공리(axioms)를 제공한다. AI에서 probability theory는 크게 두 가지의 이유로 사용된다. 1. It tells us how AI systems should reason, so we design our algorithms to compute or approximate various expressions derived using probability theory. 이는 AI 시..

Prior, posterior probability 이전에 prior probability와 posterior probability에 대해서 공부했다. 다시 요약해 보자면 ... θ에 관심이 있다고 할 때, - prior probability: 데이터를 모으거나 측정하기 전의 θ에 대한 uncertainty를 나타낸다. distribution 표현: π(θ) - posterior probability: 데이터를 모으거나 측정한 후의 θ에 대한 uncertainty를 나타낸다. distribution 표현: π(θ|X) 관찰된 데이터에 대한 조건부 확률이다. 위 확률 개념은 Bayes' theorem에 기반을 둔 Naive Bayesian Classifier에서 사용된다. Naive Bayesian 모델은..

어떤 집단에서 D 병에 걸린 사람의 비율이 0.01퍼센트라고 하자. 이 때 임의로 고른 사람이 병에 걸렸을 확률은, P(prior)=0.01이다. 이제 병 검사의 specificity(probability that the test will come out negative for a person without the disease.)는 95%이고, sensitivity(probability that the test is positive for a person with the disease)는 99%이다. 이 때 임의로 고른 사람이 병에 걸렸을 확률은 무엇일까? 즉, 어떤 사람의 테스트 결과가 positive일 때 D 병에 걸렸을 conditional probability는 무엇일까? Test results..

best image labeling tools for Computer Vision tasks: labelme labelImg CVAT hasty.ai Conclusion We've covered four different annotation tools and considered each tool’s advantages and disadvantages: labelme can be used for various computer vision tasks, but it involves only manual labeling. However, the tool can be installed and configured very quickly. The tool may be suitable for those who want..