자습용으로 공부하기 위해 정리한 자료 입니다. 출처는 맨 밑에 있습니다. 1. Learning Problem in DNN Internal Covariate Shift – 뉴럴네트워크는 히든레이어가 많아서 학습이 힘듬 – Deep Learning은 히든 레이어가 더 많아서 학습이 더 힘듬. 이게 왜 힘드냐면 웨이트의 조금만 변화가 쌓이다 보면은 높은 레이어로 갈수록 변화가 더 커지기 때문이다. 결국 히든 레이어의 값이 변동이 […]
Deep Learning Research Group
1. Introduction 기존의 YOLO의 성능을 향상시키기 위해서 대단하진 않지만 여러가지 작은 변화들을 적용하였고 성능이 좋아졌습니다. 2. The Deal 2.1 Bouding Box Prediction YOLO9000에서와 동일한 방법으로 박스를 유추하였습니다. 마찬가지로 학습을 위해서 sum of squared error를 로스로 사용하였습니다. YOLOv3는 objectness score를 logistic regression을 사용하도록 변화하였습니다. 어느 한 바운딩 박스가 다른 바운딩박스들 보다 더 많이 오버랩된 경우 그 […]
[HAN] Hierarchical Attention Networks for Document Classification (Paper) 1. 서론 자연어 처리에서 Document 의 분류는 굉장히 근본적인 문제로 스팸분류, 기사 분류 등 다양한 용도로 사용 될 수 있다. 과거에는 Keyword 를 기반으로 문서를 분류하는 원시적인 방법부터, 최근에는 CNN 이나 RNN 을 사용하는 방법까지 발전되어 왔는데, 딥러닝의 활용은 성능적인 측면에서 꽤나 좋은 성과를 거두었다. 여기서는 문서를 […]
NIPS 2017 및 Deview2017 발표자료를 토데로 정리 [NAVER]NSML Alpha Test_Group3 에 참가 및 테스트 참여 서약서(보안서약서)에 서명 제출하였기에 arxiv에 공유된 논문내용과 공유된 내용 위주로 우리가 개발한 TensorMSA와도 비교 분석 1. NSML이란? – Naver Smartest Machine Learning Platform의 약자로 사용자는 모델 개발에 집중할수 있게 해주는 플랫폼 – on-premise와 PaaS기반 서비스를 제공 (참고로 TensorMSA의 경우 SaaS 형태 – […]
금융의 모든 영역에 Deep Learning을 사용하기 위해선 일단 데이터의 연관관계들을 규정할 수 있어야 한다. 예를 들면 주식 종목들의 업종별 상위 10여 군을 조합하여 뽑은 뒤 업종별 현황을 하기와 같이 분석해 보았다고 생각해 보자! 솔직히 위 내용들은 과거의 지표를 통한 현재의 추세이지 이것이 미래에 예측으로 사용된다면 위험한 일이 벌어질 수도 있다. 딥러닝은 선별된 데이터의 특성들로 부터 […]
[CVPR 2017] Learning by Association – A versatile semi-supervised training method for neural networks (Blog, Paper) 1. 서론 우리가 모델링을 하면서 가장 힘든게 무엇일까? 아마도 데이터를 전처리하는 일이라고 볼 수 있을 것이다. 데이터 전처리에는 변수 선택이나, 정규화 처리, 파생변수 생성 등 모델러의 일이라고 볼 수 있는 부분들도 있지만, 어쩔 수 없이 발생하는 레이블링 작업은 […]
Precision and Recall for Multi Class 모델의 정확도를 평가하는 방법은 크게 위와 같이 4가지로 볼 수 있는데, accuracy 는 전체 모수중에 맞춘 전체의 확률로 많이 사용되지만 데이터가 unbalance 할 경우 (예를들어 0,1 라벨중 0의 비중이 90% 이상) 인 경우라면 0으로 전부 예측해도 전체 정확도는 90% 가 되버리는 문제가 있다. 이러한 문재를 해결하기 위해 나온 개념이 […]
Very Deep Convolutional Networks for Text Classification (Paper) 1. 개요 지금까지 몇 가지 주요 Text 분류 알고리즘들을 살펴 보았다. 현재까지 추이를 보면 처음 보았던 내용이 Text 분류에 Word Embedding 기법과 Convolution 기법을 적용한 것이였으며, 두 번째로 보았던 것이 형태소 분석후 Word Embedding 을 하는 것이 아닌 Char Level 의 Embedding 을 사용하고 Colvolution 의 Depth 를 […]
Character-level Convolutional Networks for Text Classification (GitHub, Paper) 1. 개요 Word2Vec 방법론은 자연어를 해석하는데 있어서 매우큰 변화를 가지고 왔다. 하지만 기본적으로 형태소 분석후에 단어를 Vector 로 Embedding 하기 때문에 형태소 분석기의 성능에 따라 전체의 결과에 큰 영향을 주는 단점이 있다. 이러한 문제를 해결하기 위한 접근 방법으로 최근 Char Embedding 기법에 대해서 생각을 해보고자 한다. 결론부터 이야기 […]
Wide & Deep Learning for Recommender Systems의 논문과 Tensroflow Submit 2017 발표 자료를 참조 하여 정리 개요 Wide에 대한 이해 Deep에 대한 이해 Feature Embedding Joint Training(Wide + Deep) How to serve 추천 시스템에 적용 결과 1.개요 일반화(Deep)와 기억(Wide)의 개념을 적용하여 범용적으로 추천을 해주는 Google Play에 적용된 알고리즘 독수리는 난다 / 비둘기는 난다 / […]