Heat 사용한 2d Manipulation Task

1. 글자 지우기
2. 글자 중에 몇 개를 장애물로 인식하고 특정 글자만 지우기

→ 고민 중인 게 EE에 지우개를 달아놓는 다고 해도 그게 점 이랑은 면적이 다를텐데 EE가 움직였을 때 장애물에 닿냐 안닿냐는 어떻게 판단하지 → 장애물 마스크를 글자여도 뚱뚱하게 넣어주면 되려나

how to ? prompt를 MLCS에서 M을 지워라 하고 들어가면 LCS는 장애물 마스크로 넣어줌. MLCS위치도 random 하게 ?

아래 처럼 별 그림이랑 원 그림이랑 선 잇기 같은 task도 좋을듯

CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision

CLIP - RT : Joint/End-effector 로그는 그대로 녹화, 다만 그것을 직접 예측 값으로 쓰지 않고, Δpose→“move right” 같은 언어 토큰으로 가볍게 압축해 라벨로 삼음

즉 “Δ𝑥 = +52 mm” 같은 숫자는 학습에 들어가지 않고, ‘move right medium’ 처럼 58 개(논문 기준) “언어-프리미티브” 중 하나로만 남는다.

학습된 상황과 달라졌을 때 올바른 프리미티브 를 선택할 수 있게 해준다는 장점 존재. 새 장면이라도 그 장면 + 지시에 가장 잘 어울리는 프리미티브가 임베딩 공간에서 가장 가깝게 나타남.

해당 논문에서 말하는 limitation

1. 여러 단계로 이루어진 복잡하고 긴 작업을 한 번에 이해하고 수행하는 능력이 부족

arxiv.org