Langevin dynamics를 쓰는 이유 : data distribution을 안다는 가정 하에, noise를 추가함으로써 생기는 최종적인 stationary distribution을 우리가 목적으로 하는 data distribution과 동일하게 할 수 있음

Fokker-Planck equation을 활용한 stationary distribution의 조건

Langevin equation

drift term f

diffusion term g

위의 Langevin equation으로 우리는 다음과 같은 stationary distribution을 얻어낼 수 있다.

f와 g에 대한 stationary distribution

ΔU(x(t)) 대신에 probability distribution의 미분, 즉 score function에서 2를 나눈 값을 대입하고, k를 1로 놓는다고 가정하면 다음과 같은 special case에서의 Langevin equation을 얻을 수 있다.

Special case of Langevin equation

이러한 특별한 형태의 Langevin equation의 장점은, 우리가 data distribution을 안다는 가정 하에 stationary distribution이 data distribution과 같도록 만들 수 있다

stationary distribution(가장 왼쪽 식)과 data distribution(가장 오른쪽 수식)이 같아짐

즉, 우리가 probability distribution의 미분 값인 score function (∇log(p(x)) 만 잘 추정한다면 true data distribution을 따르는 샘플을 잘 만들어 내는 generative model을 만들 수 있다.

따라서, 해당 special case에 대해서 stationary distribution과 data distribution이 같아지는 것을 증명했으므로, 우리는 아래 식을 통해 샘플을 생성해낼 수 있다.

Reference