Reference
Generative Modeling by Estimating Gradients of the Data Distribution | Yang Song
score-based model의 전반적인 과정을 요약
training 단계에서 score-based model이 학습된다. 즉 예를 들어, 고양이 이미지가 input으로 주어졌을 때, 이 data를 바탕으로 고양이 이미지에 대한 score vector(log gradient)를 학습한다.
여기서 score란 고양이 이미지가 대표하는 고밀도 지역으로 이동하는 방향을 의미한다.
inference 또는 샘플 생성 단계에서는 이 학습된 모델을 바탕으로 Langevin dynamics를 통해 새로운 데이터를 생성
energy-based model
training 단계에서는 Energy-Based Model이 학습되며, 출력은 energy 값이다. 이 energy가 낮을수록그 데이터 포인트는 더 높은 확률을 가진다.
sampling 단계에서는 낮은 에너지 지역으로의 샘플링이 이루어지며, 이 과정은 에너지가 낮은 샘플을 더 많이 생성하는 것을 목표로 한다.
two categories of generative model
기존의 각 model 들의 단점