TFN에 Attention 메커니즘을 추가
Query, Key, Value: 일반적인 Transformer에서는 query, key, value가 각각 다른 시점에서의 정보인데, SE(3)-Transformer에서는 각 포인트 자체가 query, key, value로 사용된다. 즉, 하나의 포인트가 query가 되어 이웃한 다른 포인트들(key들)에 대해 얼마나 중요한지(attention)를 계산하고, 그 값(value)들을 결합하여 최종 출력을 생성한다.
쿼리 벡터(Query vector):
값 벡터(Value vector):
키 벡터(Key vector):