[논문리뷰] Auto-Encoding Variational Bayes - VAE

연속적인 latent vector, intractable posterior distribution, large dataset의 경우 효과적이게 추론하는 방법으로 stochastic variational inference 제안. 두 가지 중점 사항. 1) lower-bound estimator 2) 1)을 사용해서 intractable posterior에 inference model을 근사하며 추론을 효과적이게 만들었다.

 

즉, intractable posterior (복잡한 distribution)을 학습하는 방법을 제안한 논문 중 하나이다.

 

[Related Works: Autoencoder]

그냥 autoencoder는 입력 데이터의 유용한 representation만을 학습하는 역할을 했다. 이 때 학습은 unsupervised 방식으로 진행되며, 학습 후에는 representation 생성하는 encoder 파트를 따로 떼어서 다른 용도로 사용할 수도 있다. AE(autoencoder)는 AE -> DAE(denoising) -> CAE(contrastive) -> GSN, WTA, advarsarial AE... 등으로 발전해왔다.

 

VAE에는 latent variable z를 도입하여 z를 통해 intractable density function을 정의하여 p(x) 모델링을 명시적으로 진행했다. 따라서 explicit density generative model이다.

 

그림 1: graphical model under idea

그림 1에서 실선은 generative model을 의미하며, 점선은 다루기 힘든 posterior에 대한 variational approximation을 의미한다. 파라미터 파이는 generative model parameter 세타에 의해서 jointly하게 학습된 것이다.

generative model

variational approximation and posterior

log likelihood가 클수록 데이터를 표현하는 분포/함수를 잘 만들었음을 의미한다.

iid(independent and identically distribution)

 

[수정중]