R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS 1. 서론 자연어 처리 문제 중 주어진 Context 를 이해하고 주어진 질문에 답변하는 문제를 흔히 MRC (Machine Reading Comprehension) 라고표현을 하는데, 풀고자 하는 문제는 아래의 예시와 같다. 아래의 예를 보면, 주어진 두줄의 문장이 있는데 (여기에는 Joe 가 어디에 있고 뭘하고 있는지 정보가 포함되어 있다.) 여기에 Where is the […]
[ICLR2018] DEEP CONTEXTUALIZED WORD REPRESENTATIONS (Paper) ,ELMO(Embedding from Language Model) 1. 서론 자연어 관련 각종 문제에 있어서, Word 를 Embedding 하는 방법은 가장 근본적인 Task 로 모든 종류의 자연어 문제에 있어서 공통적으로 적용되는 문제이다. 해당 논문은 Word Embedding 을 BiLM 이라는 댜량의 Corpus 기반으로 사전에 훈련된 모델을 활용하는데, 이러한 방법을 적용하여 기존의 NLP 의 주요 […]
[HAN] Hierarchical Attention Networks for Document Classification (Paper) 1. 서론 자연어 처리에서 Document 의 분류는 굉장히 근본적인 문제로 스팸분류, 기사 분류 등 다양한 용도로 사용 될 수 있다. 과거에는 Keyword 를 기반으로 문서를 분류하는 원시적인 방법부터, 최근에는 CNN 이나 RNN 을 사용하는 방법까지 발전되어 왔는데, 딥러닝의 활용은 성능적인 측면에서 꽤나 좋은 성과를 거두었다. 여기서는 문서를 […]
[CVPR 2017] Learning by Association – A versatile semi-supervised training method for neural networks (Blog, Paper) 1. 서론 우리가 모델링을 하면서 가장 힘든게 무엇일까? 아마도 데이터를 전처리하는 일이라고 볼 수 있을 것이다. 데이터 전처리에는 변수 선택이나, 정규화 처리, 파생변수 생성 등 모델러의 일이라고 볼 수 있는 부분들도 있지만, 어쩔 수 없이 발생하는 레이블링 작업은 […]
Precision and Recall for Multi Class 모델의 정확도를 평가하는 방법은 크게 위와 같이 4가지로 볼 수 있는데, accuracy 는 전체 모수중에 맞춘 전체의 확률로 많이 사용되지만 데이터가 unbalance 할 경우 (예를들어 0,1 라벨중 0의 비중이 90% 이상) 인 경우라면 0으로 전부 예측해도 전체 정확도는 90% 가 되버리는 문제가 있다. 이러한 문재를 해결하기 위해 나온 개념이 […]
Very Deep Convolutional Networks for Text Classification (Paper) 1. 개요 지금까지 몇 가지 주요 Text 분류 알고리즘들을 살펴 보았다. 현재까지 추이를 보면 처음 보았던 내용이 Text 분류에 Word Embedding 기법과 Convolution 기법을 적용한 것이였으며, 두 번째로 보았던 것이 형태소 분석후 Word Embedding 을 하는 것이 아닌 Char Level 의 Embedding 을 사용하고 Colvolution 의 Depth 를 […]
Character-level Convolutional Networks for Text Classification (GitHub, Paper) 1. 개요 Word2Vec 방법론은 자연어를 해석하는데 있어서 매우큰 변화를 가지고 왔다. 하지만 기본적으로 형태소 분석후에 단어를 Vector 로 Embedding 하기 때문에 형태소 분석기의 성능에 따라 전체의 결과에 큰 영향을 주는 단점이 있다. 이러한 문제를 해결하기 위한 접근 방법으로 최근 Char Embedding 기법에 대해서 생각을 해보고자 한다. 결론부터 이야기 […]
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization (Paper) 1. 문제점 딥러닝은 매우 뛰어난 분류기이지만, 실제 기업에서 사용하기 위해서는 큰 문제점이 있는데, 가장 대표적인 문제가 왜? 그런 결과가 나왔는지 설명하기가 어렵다는 것이다. 이러한 딥러닝의 Black Box 적인 특성 때문에 뛰어난 분류 성능에도 불구하고 현업에서는 사용하기가 어려웠던 것이 사실이다. 때문에 요즘에는 XAI (Explainable Aritificial Intelligence) 에 대한 연구가 […]
Recruit Automation with Deep Learning (IBM, Paper, Slide, adroitbot) 1. 서론 Recruit 자동화는 지금까지 자료를 찾은 결과를 종합하였을 때 HR Recruiting 의 자동화는 로보 어드바이져와 마찬가지로 시스템 구성의 성격이 더 강하다. Skill-Set 일치 비교(유사어 처리, 카테고리화), Semantic analysis, 성향 분석, Summary 등을 수행후 종합적인 Scoring 과 Summary View 를 Guidance 로 제공 등 세부 Task […]