Day: March 29, 2022

Decision Transformer Reinforcement Learning via Sequence Modeling

논문 출처 : https://arxiv.org/abs/2106.01345 코드 출처 : https://github.com/kzl/decision-transformer 이 논문이 쓰여지게 된 배경은 ViT의 출현( https://arxiv.org/abs/2010.11929 )과 관련이 있어 보인다. 위 Vision Transformer Architecture를 살펴보면 이미지를 고정된 크기의 Patch로 나누어 준 후 Position Embedding화하여 Sequential하게 Transformer의 인코더에 Input값으로 넣는다.입력값으로 들어간 이미지를 일반적인 Transformer Input 값과 동일하게 Data Transformation을 수행한 후 classification token을 더해준다. 이 정보를 […]

Read more