Author: tmddno1@naver.com

Customer Shopping Pattern Prediction:A Recurrent Neural Network Approach

이 논문의 핵심은 고객 마케팅 분석시 흔히 사용하는 RFM(Receny, Frequency, Monetary) 기반의 분석 방법과 Deep Learning 에서 시계열에 효과적이라고 알려진 RNN 을 접목하는 아이디어로 시작한다. 기존에도 마케팅 모델에 Deep Deep Learning을 적용하고자 하는 연구는 있었지만, Fully Connected Network 형태로 활용하여, 시간을 독립적인 인풋 데이터로 활용하였다는 한계가 있다. 그래서 RNN 을 적용해 보겠다는 이야기. Iput 은 […]

Read more

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Paper) Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova Google AI Language 1. 서론 기존의 자연어 처리 모델은 Specific Task 모델을 Inital State 에서 부터 훈련하기 위한 형태로 접근하였다. 이러한 접근 방법의 문제는 여러가지가 있겠지만, 목적별로 많은 훈련 데이터를 확보해야만 한다는 것이 가장 큰 문제일 것이다. […]

Read more

[크롤링] 금융 정보 수집 방법

Python 을 활용한 금융 데이터 수집 예제 Google Colaboratory Source: bit.ly/2qvlSqJ 경제, 금융투자 주요 사이트와 데이터 한국거래소 http://krx.co.kr 전자공시 http://dart.fss.or.kr 한국은행 http://www.bok.or.kr http://www.bokeducation.or.kr/ 한국은행 경제교육 KDI 한국개발연구원 http://www.kdi.re.kr http://lib.kdi.re.kr/nonRelation/statDomestic 경제, 정치, 사회, 외교 보고서 논문 코트라 글로벌 뉴스 http://news.kotra.or.kr/kotranews/index.do – 해외시장뉴스 수출, 무역 보고서 ICT 통계포털 http://itstat.go.kr IT, ICT 분야 통계 한국신용평가 기업정보 http://www.kisline.com/ 한신평에서 제공하는 기업정보 […]

Read more

Unsupervised Deep Embedding for Clustering Analysis

Unsupervised Deep Embedding for Clustering Analysis (Paper) J. Xie, R. Girshick, A. Farhadi (University of Washington, Facebook AI Reaserch), 2016 1. 서론 Clustering 은 우리가 데이터를 Unsupervised 로 분석하기 위해서 사용하는 방법으로, 이 논문에서는 딥러닝을 활용하여 Feature Representation과 Cluster Assignment 를 동시에하는 것을 목표로 합니다. 첫 번째 목표인, Feature Representation은 X 를 우리에게 주어진 데이터, […]

Read more

Visualizing Data using t-SNE

Visualizing Data using t-SNE (Paper) 1. 서론 우리가 Clustering 등의 작업을 위해서 고차원의 데이터를 시각화 하기 위해서는 저차원으로 데이터를 맵핑할 필요가 있는데, 이때 선택할 수 있는 방법이 PCA 등이 있을 수 있는데 여기서는 T-SNE 를 활용한 고차원 데이터의 저차원 데이터로의 맵핑과 시각화에 대해서 설명하고 있다. 2. 기존 연구 (SNE : Stochastic Neighbor Embedding)   Stochastic Neighbor […]

Read more

An Overview of Multi-Task Learning in Deep Neural Networks∗

An Overview of Multi-Task Learning in Deep Neural Networks (Paper, Blog) 1. 서론 보통 우리가 머신러닝으로 무언가를 할때 통상적으로 하나의 모델을 훈련하거나 복수의 모델을 훈련하여 Ensemble 하는 형태로 우리가 추구하고자 하는 목표를 잘 해석할 수 있는 모델을 만들고자 노력한다. 그 이후에는 Fine 튜닝 등의 방법으로 성능을 끌어올리고자 노력하다가 더 이상 모델의 성능의 개선되지 않으면 모델 개발을 […]

Read more

Scoring

Scoring (Probs to Score) (링크) 1. 서론 Scoring 을 왜 해야 하는가? 우리가 모델을 만들면 Logistic 의 예로 0~1 사이의 확률 값을 갖게 된다. 그러데 이것이 업무적으로 커뮤니케이션을 할때, 어떤 사람이 연체할 확률이 0.843 이에요라는 것은 상당히 어렵다. 이러한 문제를 해결하고자 1000점 만점으로 rescaling 을 해서, 1000점에서 900점 구간은 연체 1등급, 900점에서 800점은 연체 2등급 이러한 […]

Read more

RECURRENT BATCH NORMALIZATION

RECURRENT BATCH NORMALIZATION (링크) 1. 서론 Batch Norm 은 신경망 훈련시 각각의 Batch 의 데이터의 분포가 매우 상이하기 때문에 발생하는 문제를 해결하기 위해 고안된 방법으로, 현재 대부분의 신경망 설계시 빠르고 효율적인 신경망의 훈련을 위해서 적용되고 있다. 본 논문에서는 RNN 구조에서 Batch Norm 을 적용하는 방법에 대해서 이야기 하고 있다. 2. 선행 연구 (1) LSTM LSTM […]

Read more

Effective Approaches to Attention-based Neural Machine Translation

Effective Approaches to Attention-based Neural Machine Translation (링크) 1. 서론 기계번역에 소계되었던 Seq2Seq 모델을 기억하는가, Encoder 와 Decoder 부로 이루어져 있으며, Encoder 부에서는 해석해야할 문장에 대한 해석을 진행하고, Decoder 부에서는 RNN 을 통해서 Generate 하는 모델로 기존 기계번역 대비 놀라운 성능 향상을 보여 주었던 메커니즘이다. 하지만 문장이 길어짐에 따라서 번역 성능이 급격히 떨어지는 문제가 있는데, 이러한 […]

Read more

Pointer Network 

Pointer Network (링크) 1. 서론 RNN 은 오랜 시간 Text 를 해석하는데 사용되어 왔으나, Input 과 Ouput 의 Size 를 한정해야 한다는 문제를 가지고 있었다. Seq2Seq 에서 Input을 해석하는 부분과 Output 을 생성하는 부분을 분리하면서 이러한 문제를 어느정도 해결하고, Attention Mechanism 을 적용하여 추가적인 정보를 제공하면서 기존에 해결하지 못하던 기계번역과 같은 분야에서 State of Arts 의 […]

Read more