자연어의 역사 근간을 통해 바라본 딥러닝에서의 자연어 처리에 대한 다양한 스킬의 발전 방향을 알아보고자 해당 블로그를 작성한다. 페르디낭 드 소쉬르(Ferdinand de Saussure, 1857년 11월 26일 ~ 1913년 2월 22일)언어학에서는 소쉬르를 빼면 이야기가 되지 않는 부분은 그야 말로 구조주의 언어학의 창시자이자 아버지이기 때문이다. 이전의 비교 언어학을 탈피하여 NLP의 근간은 구조학적 언어의 기반을 닦은 것이 바로 그이기 […]
Deep Learning Research Group
이 논문은 2019 CVPR에 발표된 “MnasNet: Platform-Aware Neural Architecture Search for Mobile” 의 저자인 Mingxing Tan과 Quoc V. Le 가 쓴 논문이며 Image Classification 타겟의 굉장히 성능이 좋은 Model인 EfficientNet을 제안하였습니다. 논문을 소개 드리기 앞서 이 논문의 결과를 먼저 보여드리고 시작을 하도록 하겠습니다. Model Scaling 일반적으로 ConvNet의 정확도를 높일 때 잘 짜여진 모델 자체를 찾는 […]
택스트 요약에는 Abstractive 와 Extractive 두 가지 방법이 있습니다. Abstractive 방법은 본문에 없는 내용으로 재 구성하여 요약하는 방법이고, Extractive 방법은 본문에 있는 내용 중 중요한 내용을 기준으로 추출하여 내용을 요약하는 방식입니다. 이 논문에서는 Extractive 방법을 대상으로 하고 있으며, 그 중요도를 판단하는 단위도 단어가 아닌 문장단위로 판단하는 연구로 보입니다. 전체적으로 연구 방향은 BERT 에 요약을 위한 […]
이번것은 엄청 실용적이고, 이해하기도 쉬운데, 성능도 잡은 논문 https://docs.google.com/presentation/d/1rCkMg7eslTOM3TJxAS6g6Iyqk1Spe0AxZmqJDTAZcuw/edit?usp=sharing 출저 : 팡요랩
완전히 어려운 수학적 베이스의 이론적인 논문 이제 시작합니다. https://docs.google.com/presentation/d/1-HM5f0vGbXYLxN3k85BxZiteCUsrL2VsPGS9KY18sxk/edit?usp=sharing 출처 : youtube 팡요랩
DDPG(Deep Deterministic Policy Gradient)란 무엇인가? (논문 참고 : https://deepmind.com/research/publications/deterministic-policy-gradient-algorithms/ )continuous action domain을 가지 시스템에서 원하는 목적을 달성하도록 제어를 하는 알고리즘으로 actor-critic model-free policy gradient 방법을 적용하는 기술 Deep이라는 단어를 사용한 이유는, DQN과 같이 Actor와 Critic approximation function에 neural network를 사용하였기 때문이다. DDPG의 의미DQN이 가지는 큰 의미는 State/Observation space dimension이 매우 크더라도 신경망이 이를 처리하여 의미 […]
포스트에서는 텍스트 요약에 대한 전반적인 내용을 다루어 보고자 한다. 텍스트의 요약이라는 것은 당연히 장문의 Document 를 함축적인 문장이나 핵심 키워드로 축약하는 기술을 의미하며, 이러한 요약 기술은 형태적인 측면에서 크게 Abstractive Summary 와 Extractive Summary 두 가지로 나누어진다고 볼 수 있다. 두 가지의 차이는 예시적으로 설명하면 아래와 같다. 주어진 Document가 있을 때 그 문장에서 가장 핵심적인 […]
