Markov Chain: 현재 상태가 이전 상태에만 의존하는 확률 과정 즉, 바로 직전 상태만 주어지면 다른 상태들에 대해서는 독립

$$ q(x_t | x_{t-1}, x_{t-2}, x_0) = q(x_t | x_{t-1}) $$

Monte Carlo: 무작위 샘플링을 통한 수치적 계산 방법

즉, Markov chain Monte Carlo (MCMC) 방법은 우리가 샘플을 얻고자 하는 어떤 목표 확률분포(Target Probability Distribution)로부터 랜덤 샘플을 얻는 방법. 정확히 말해, ****MCMC는 목표 분포를 Stationary distribution으로 가지는 Markov Chain을 만드는 과정이다.

여기서 "Stationary Distribution" 이란 ****특정 조건을 만족한 상태에서 Markov Chain를 반복하다 보면 현재 상태의 확률이 직전 상태의 확률과 같아지게 되어 하나의 확률에 수렴 되어 이전 확률에 영향을 받지 않게 되는 즉, 고정되어 움직이지 않아 평형 상태에 도달한 확률 분포를 의미한다.

Markov chain Monte Carlo (MCMC) method 작동과정

• Target stationary distribution(목표 분포)이 주어짐
• 시작점으로 사용할 초기 상태 선정
• 제안 분포(proposal distribution)를 통해 새로운 상태 제안
• 수용 확률(acceptance probability)에 따라 새 상태를 수용 또는 거부
• 이 과정을 반복하여(Markov Chain를 반복) 목표 분포(**Stationary Distribution)**에서 샘플 생성

이러한 MCMC를 활용한 Metropolis-Hastings 알고리즘이나 Langevin dynamics같은 일반적인 방법들은 Euclidean 공간에서는 잘 작동하지만, SE(3)와 같은 비유클리드 매니폴드에는 직접 적용하기 어렵다는 단점이 존재한다.

Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning

따라서 해당 논문에서는 기존 Energy Based Model에서는 유클리드 공간에서 작동하는 MCMC 방법들이 사용되어 왔으나, SE(3)-equivariant한 성질을 SE(3) 매니폴드 상에서 자체에서 직접 모델링한 Energy Based Method를 제안한다.