Unsupervised Deep Embedding for Clustering Analysis (Paper) J. Xie, R. Girshick, A. Farhadi (University of Washington, Facebook AI Reaserch), 2016 1. 서론 Clustering 은 우리가 데이터를 Unsupervised 로 분석하기 위해서 사용하는 방법으로, 이 논문에서는 딥러닝을 활용하여 Feature Representation과 Cluster Assignment 를 동시에하는 것을 목표로 합니다. 첫 번째 목표인, Feature Representation은 X 를 우리에게 주어진 데이터, […]
Visualizing Data using t-SNE (Paper) 1. 서론 우리가 Clustering 등의 작업을 위해서 고차원의 데이터를 시각화 하기 위해서는 저차원으로 데이터를 맵핑할 필요가 있는데, 이때 선택할 수 있는 방법이 PCA 등이 있을 수 있는데 여기서는 T-SNE 를 활용한 고차원 데이터의 저차원 데이터로의 맵핑과 시각화에 대해서 설명하고 있다. 2. 기존 연구 (SNE : Stochastic Neighbor Embedding) Stochastic Neighbor […]
An Overview of Multi-Task Learning in Deep Neural Networks (Paper, Blog) 1. 서론 보통 우리가 머신러닝으로 무언가를 할때 통상적으로 하나의 모델을 훈련하거나 복수의 모델을 훈련하여 Ensemble 하는 형태로 우리가 추구하고자 하는 목표를 잘 해석할 수 있는 모델을 만들고자 노력한다. 그 이후에는 Fine 튜닝 등의 방법으로 성능을 끌어올리고자 노력하다가 더 이상 모델의 성능의 개선되지 않으면 모델 개발을 […]
Scoring (Probs to Score) (링크) 1. 서론 Scoring 을 왜 해야 하는가? 우리가 모델을 만들면 Logistic 의 예로 0~1 사이의 확률 값을 갖게 된다. 그러데 이것이 업무적으로 커뮤니케이션을 할때, 어떤 사람이 연체할 확률이 0.843 이에요라는 것은 상당히 어렵다. 이러한 문제를 해결하고자 1000점 만점으로 rescaling 을 해서, 1000점에서 900점 구간은 연체 1등급, 900점에서 800점은 연체 2등급 이러한 […]
RECURRENT BATCH NORMALIZATION (링크) 1. 서론 Batch Norm 은 신경망 훈련시 각각의 Batch 의 데이터의 분포가 매우 상이하기 때문에 발생하는 문제를 해결하기 위해 고안된 방법으로, 현재 대부분의 신경망 설계시 빠르고 효율적인 신경망의 훈련을 위해서 적용되고 있다. 본 논문에서는 RNN 구조에서 Batch Norm 을 적용하는 방법에 대해서 이야기 하고 있다. 2. 선행 연구 (1) LSTM LSTM […]
Effective Approaches to Attention-based Neural Machine Translation (링크) 1. 서론 기계번역에 소계되었던 Seq2Seq 모델을 기억하는가, Encoder 와 Decoder 부로 이루어져 있으며, Encoder 부에서는 해석해야할 문장에 대한 해석을 진행하고, Decoder 부에서는 RNN 을 통해서 Generate 하는 모델로 기존 기계번역 대비 놀라운 성능 향상을 보여 주었던 메커니즘이다. 하지만 문장이 길어짐에 따라서 번역 성능이 급격히 떨어지는 문제가 있는데, 이러한 […]
Pointer Network (링크) 1. 서론 RNN 은 오랜 시간 Text 를 해석하는데 사용되어 왔으나, Input 과 Ouput 의 Size 를 한정해야 한다는 문제를 가지고 있었다. Seq2Seq 에서 Input을 해석하는 부분과 Output 을 생성하는 부분을 분리하면서 이러한 문제를 어느정도 해결하고, Attention Mechanism 을 적용하여 추가적인 정보를 제공하면서 기존에 해결하지 못하던 기계번역과 같은 분야에서 State of Arts 의 […]
R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS 1. 서론 자연어 처리 문제 중 주어진 Context 를 이해하고 주어진 질문에 답변하는 문제를 흔히 MRC (Machine Reading Comprehension) 라고표현을 하는데, 풀고자 하는 문제는 아래의 예시와 같다. 아래의 예를 보면, 주어진 두줄의 문장이 있는데 (여기에는 Joe 가 어디에 있고 뭘하고 있는지 정보가 포함되어 있다.) 여기에 Where is the […]
[ICLR2018] DEEP CONTEXTUALIZED WORD REPRESENTATIONS (Paper) ,ELMO(Embedding from Language Model) 1. 서론 자연어 관련 각종 문제에 있어서, Word 를 Embedding 하는 방법은 가장 근본적인 Task 로 모든 종류의 자연어 문제에 있어서 공통적으로 적용되는 문제이다. 해당 논문은 Word Embedding 을 BiLM 이라는 댜량의 Corpus 기반으로 사전에 훈련된 모델을 활용하는데, 이러한 방법을 적용하여 기존의 NLP 의 주요 […]
[HAN] Hierarchical Attention Networks for Document Classification (Paper) 1. 서론 자연어 처리에서 Document 의 분류는 굉장히 근본적인 문제로 스팸분류, 기사 분류 등 다양한 용도로 사용 될 수 있다. 과거에는 Keyword 를 기반으로 문서를 분류하는 원시적인 방법부터, 최근에는 CNN 이나 RNN 을 사용하는 방법까지 발전되어 왔는데, 딥러닝의 활용은 성능적인 측면에서 꽤나 좋은 성과를 거두었다. 여기서는 문서를 […]