Abstract 본 논문에서는 최소한의 training data를 가지고 우수한 결과를 달성하는 Deep Neural Networks(DNN)를 이용한 전이 학습(transfer learning) 기반의 markerless 추적을 위한 매우 효율적인 방법을 제안한다. 놀랍게도, 적은 수의 프레임이 라벨링된 경우에도(200개), 인간의 정확도에 필적하는 뛰어난 tracking performance을 달성한다. 1. INTRODUCTION 본 논문에서는 다양한 신체 부위의 기하학적 구성에 관심이 있다. motor control 분야에서 물리적 마커와 비디오 […]
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (NAACL 2019)Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova Cloze-driven Pretraining of Self-attention Networks (arXiv 2019)Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, Michael Auli Unified Language Model Pre-training for Natural Language Understanding and Generation (arXiv 2019)Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng […]
자연어의 역사 근간을 통해 바라본 딥러닝에서의 자연어 처리에 대한 다양한 스킬의 발전 방향을 알아보고자 해당 블로그를 작성한다. 페르디낭 드 소쉬르(Ferdinand de Saussure, 1857년 11월 26일 ~ 1913년 2월 22일)언어학에서는 소쉬르를 빼면 이야기가 되지 않는 부분은 그야 말로 구조주의 언어학의 창시자이자 아버지이기 때문이다. 이전의 비교 언어학을 탈피하여 NLP의 근간은 구조학적 언어의 기반을 닦은 것이 바로 그이기 […]
이 논문은 2019 CVPR에 발표된 “MnasNet: Platform-Aware Neural Architecture Search for Mobile” 의 저자인 Mingxing Tan과 Quoc V. Le 가 쓴 논문이며 Image Classification 타겟의 굉장히 성능이 좋은 Model인 EfficientNet을 제안하였습니다. 논문을 소개 드리기 앞서 이 논문의 결과를 먼저 보여드리고 시작을 하도록 하겠습니다. Model Scaling 일반적으로 ConvNet의 정확도를 높일 때 잘 짜여진 모델 자체를 찾는 […]
택스트 요약에는 Abstractive 와 Extractive 두 가지 방법이 있습니다. Abstractive 방법은 본문에 없는 내용으로 재 구성하여 요약하는 방법이고, Extractive 방법은 본문에 있는 내용 중 중요한 내용을 기준으로 추출하여 내용을 요약하는 방식입니다. 이 논문에서는 Extractive 방법을 대상으로 하고 있으며, 그 중요도를 판단하는 단위도 단어가 아닌 문장단위로 판단하는 연구로 보입니다. 전체적으로 연구 방향은 BERT 에 요약을 위한 […]
이번것은 엄청 실용적이고, 이해하기도 쉬운데, 성능도 잡은 논문 https://docs.google.com/presentation/d/1rCkMg7eslTOM3TJxAS6g6Iyqk1Spe0AxZmqJDTAZcuw/edit?usp=sharing 출저 : 팡요랩
완전히 어려운 수학적 베이스의 이론적인 논문 이제 시작합니다. https://docs.google.com/presentation/d/1-HM5f0vGbXYLxN3k85BxZiteCUsrL2VsPGS9KY18sxk/edit?usp=sharing 출처 : youtube 팡요랩
DDPG(Deep Deterministic Policy Gradient)란 무엇인가? (논문 참고 : https://deepmind.com/research/publications/deterministic-policy-gradient-algorithms/ )continuous action domain을 가지 시스템에서 원하는 목적을 달성하도록 제어를 하는 알고리즘으로 actor-critic model-free policy gradient 방법을 적용하는 기술 Deep이라는 단어를 사용한 이유는, DQN과 같이 Actor와 Critic approximation function에 neural network를 사용하였기 때문이다. DDPG의 의미DQN이 가지는 큰 의미는 State/Observation space dimension이 매우 크더라도 신경망이 이를 처리하여 의미 […]