Reference

Generative Modeling by Estimating Gradients of the Data Distribution | Yang Song

score-based model의 전반적인 과정을 요약

training 단계에서 score-based model이 학습된다. 즉 예를 들어, 고양이 이미지가 input으로 주어졌을 때, 이 data를 바탕으로 고양이 이미지에 대한 score vector(log gradient)를 학습한다.

여기서 score란 고양이 이미지가 대표하는 고밀도 지역으로 이동하는 방향을 의미한다.

inference 또는 샘플 생성 단계에서는 이 학습된 모델을 바탕으로 Langevin dynamics를 통해 새로운 데이터를 생성

energy-based model

training 단계에서는 Energy-Based Model이 학습되며, 출력은 energy 값이다. 이 energy가 낮을수록그 데이터 포인트는 더 높은 확률을 가진다.

sampling 단계에서는 낮은 에너지 지역으로의 샘플링이 이루어지며, 이 과정은 에너지가 낮은 샘플을 더 많이 생성하는 것을 목표로 한다.

two categories of generative model

1. likelihood-based models : directly learn the distribution’s probability density (or mass) function via (approximate) maximum likelihood (e.g. EBM, VAE)
2. implicit generative models : the probability distribution is implicitly represented by a model of its sampling process (e.g. GAN)

기존의 각 model 들의 단점