Author: tmddno1@naver.com

포스트에서는 텍스트 요약에 대한 전반적인 내용을 다루어 보고자 한다. 텍스트의 요약이라는 것은 당연히 장문의 Document 를 함축적인 문장이나 핵심 키워드로 축약하는 기술을 의미하며, 이러한 요약 기술은 형태적인 측면에서 크게 Abstractive Summary 와 Extractive Summary 두 가지로 나누어진다고 볼 수 있다. 두 가지의 차이는 예시적으로 설명하면 아래와 같다. 주어진 Document가 있을 때 그 문장에서 가장 핵심적인 […]

이 논문은 제목에서 확인 할 수 있는 것과 같이, Semi-Supervised Learning 관한 연구이며, 특히 자연어 처리 쪽에 어떻게 효과적으로 이 기법을 적용할 것인지에 초점을 맞추고 있다. 이 논문에서는 Unsupervised 형태로 Pretrained Model 을 만든 후 , 기존 모델에 활용하는 Word2Vec이나 ElMo 같은 알고리즘을 Semi supervised 의 한 형태로 정의하고 있으며, 이러한 방법의 문제로 Labeled 된 […]

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Sequence Classification with Human Attention Phrase-Based & Neural Unsupervised Machine Translation What you can cram into a single vector: Probing sentence embeddings for linguistic properties SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference Deep contextualized word representations Meta-Learning for Low-Resource Neural Machine Translation Linguistically-Informed Self-Attention […]

본 포스트에서는 Bagging, Boosting 그리고 Stacking 기법이 무엇인지, 그리고 각 기법을 사용하는 대표적인 알고리즘들 Random Forest, AdaBoost, Gradient Boost 그리고 요즘 Kaggle Ranker 들이 묻지도 따지지도 않고 사용하는 XgBoost 등에 대해서 설명하고자 한다. 1. Bias & Variance Bagging 및 Boosting 을 설명하기 위해서는 사전에 머신러닝에서 이야기 하는 Error 가 Bias 와 Variance로 구성되어 있으며, 각 […]

이 논문의 핵심은 고객 마케팅 분석시 흔히 사용하는 RFM(Receny, Frequency, Monetary) 기반의 분석 방법과 Deep Learning 에서 시계열에 효과적이라고 알려진 RNN 을 접목하는 아이디어로 시작한다. 기존에도 마케팅 모델에 Deep Deep Learning을 적용하고자 하는 연구는 있었지만, Fully Connected Network 형태로 활용하여, 시간을 독립적인 인풋 데이터로 활용하였다는 한계가 있다. 그래서 RNN 을 적용해 보겠다는 이야기. Iput 은 […]

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Paper) Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova Google AI Language 1. 서론 기존의 자연어 처리 모델은 Specific Task 모델을 Inital State 에서 부터 훈련하기 위한 형태로 접근하였다. 이러한 접근 방법의 문제는 여러가지가 있겠지만, 목적별로 많은 훈련 데이터를 확보해야만 한다는 것이 가장 큰 문제일 것이다. […]