기존 Transporter Network 의 한계점 : From the rotation-equivariance perspective that is not shown in their work, Transporter Net is equivariant with respect to pick orientation

즉, 기존 Transporter Network는 Place Model에서 rotation에 대해 10◦ 로 discretize roatation equivariance(Cn-equivariant, Cn : SO(2)의 subgroyp인 finite cyclic group ) 하게 했다. 해당 논문에서는 Pick Model에서의 orientation 변화도 고려해 Place Model의 Continuous rotation equivaraince 를 만족하게 해서 앞에 Equivariant가 붙었다.

Contribution

  1. This paper seeks to add this type of equivariance to the Transporter Network model by incorporating Cn-equivarant convolutional layers into both the pick and place models

Transporter Network Remind

image.png

기존의 Transporter Network의 경우 Tpick 주위에서 이미지 패치를 crop 하고, lifting 연산자인 R_n(c)를 통해 이미지 패치 c를 다양한 회전 각도로 변환하여 n개의 회전된 패치들의 스택으로 만들었다.

image.png

이를 통해 픽 위치가 고정된 상태에서 다양한 회전 변환에 대해 대응하는 이미지 패치를 만들었었고, Transporter Network의 경우 n을 36번으로 설정했었다.

회전된 이미지 패치들에 대해 특성 맵을 계산하는 역할을 ψ이 했었고, 이미지의 전체적인 정보 즉, Place 할 위치(τ)를 찾는 특성 맵을 계산하는 역할을 ϕ가 했었다. 최종적으로 이 둘을 correlation 연산을 통해 Place 할 위치를 찾았었다.

Equivariant Transporter Network