NIPS 2017 및 Deview2017 발표자료를 토데로 정리 [NAVER]NSML Alpha Test_Group3 에 참가 및 테스트 참여 서약서(보안서약서)에 서명 제출하였기에 arxiv에 공유된 논문내용과 공유된 내용 위주로 우리가 개발한 TensorMSA와도 비교 분석 1. NSML이란? – Naver Smartest Machine Learning Platform의 약자로 사용자는 모델 개발에 집중할수 있게 해주는 플랫폼 – on-premise와 PaaS기반 서비스를 제공 (참고로 TensorMSA의 경우 SaaS 형태 – […]
Deep Learning Research Group
금융의 모든 영역에 Deep Learning을 사용하기 위해선 일단 데이터의 연관관계들을 규정할 수 있어야 한다. 예를 들면 주식 종목들의 업종별 상위 10여 군을 조합하여 뽑은 뒤 업종별 현황을 하기와 같이 분석해 보았다고 생각해 보자! 솔직히 위 내용들은 과거의 지표를 통한 현재의 추세이지 이것이 미래에 예측으로 사용된다면 위험한 일이 벌어질 수도 있다. 딥러닝은 선별된 데이터의 특성들로 부터 […]
[CVPR 2017] Learning by Association – A versatile semi-supervised training method for neural networks (Blog, Paper) 1. 서론 우리가 모델링을 하면서 가장 힘든게 무엇일까? 아마도 데이터를 전처리하는 일이라고 볼 수 있을 것이다. 데이터 전처리에는 변수 선택이나, 정규화 처리, 파생변수 생성 등 모델러의 일이라고 볼 수 있는 부분들도 있지만, 어쩔 수 없이 발생하는 레이블링 작업은 […]
Precision and Recall for Multi Class 모델의 정확도를 평가하는 방법은 크게 위와 같이 4가지로 볼 수 있는데, accuracy 는 전체 모수중에 맞춘 전체의 확률로 많이 사용되지만 데이터가 unbalance 할 경우 (예를들어 0,1 라벨중 0의 비중이 90% 이상) 인 경우라면 0으로 전부 예측해도 전체 정확도는 90% 가 되버리는 문제가 있다. 이러한 문재를 해결하기 위해 나온 개념이 […]
Very Deep Convolutional Networks for Text Classification (Paper) 1. 개요 지금까지 몇 가지 주요 Text 분류 알고리즘들을 살펴 보았다. 현재까지 추이를 보면 처음 보았던 내용이 Text 분류에 Word Embedding 기법과 Convolution 기법을 적용한 것이였으며, 두 번째로 보았던 것이 형태소 분석후 Word Embedding 을 하는 것이 아닌 Char Level 의 Embedding 을 사용하고 Colvolution 의 Depth 를 […]
Character-level Convolutional Networks for Text Classification (GitHub, Paper) 1. 개요 Word2Vec 방법론은 자연어를 해석하는데 있어서 매우큰 변화를 가지고 왔다. 하지만 기본적으로 형태소 분석후에 단어를 Vector 로 Embedding 하기 때문에 형태소 분석기의 성능에 따라 전체의 결과에 큰 영향을 주는 단점이 있다. 이러한 문제를 해결하기 위한 접근 방법으로 최근 Char Embedding 기법에 대해서 생각을 해보고자 한다. 결론부터 이야기 […]
Wide & Deep Learning for Recommender Systems의 논문과 Tensroflow Submit 2017 발표 자료를 참조 하여 정리 개요 Wide에 대한 이해 Deep에 대한 이해 Feature Embedding Joint Training(Wide + Deep) How to serve 추천 시스템에 적용 결과 1.개요 일반화(Deep)와 기억(Wide)의 개념을 적용하여 범용적으로 추천을 해주는 Google Play에 적용된 알고리즘 독수리는 난다 / 비둘기는 난다 / […]
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization (Paper) 1. 문제점 딥러닝은 매우 뛰어난 분류기이지만, 실제 기업에서 사용하기 위해서는 큰 문제점이 있는데, 가장 대표적인 문제가 왜? 그런 결과가 나왔는지 설명하기가 어렵다는 것이다. 이러한 딥러닝의 Black Box 적인 특성 때문에 뛰어난 분류 성능에도 불구하고 현업에서는 사용하기가 어려웠던 것이 사실이다. 때문에 요즘에는 XAI (Explainable Aritificial Intelligence) 에 대한 연구가 […]
자습용으로 공부하기 위해 정리한 자료 입니다. 출처는 맨 밑에 있습니다. 1. 복습 Fast R-CNN 과 Faster R-CNN – 처음에는 Selective Search를 사용해서 물체의 위치를 검출 – Faster RCNN은 Region Proposal Network를 사용하여 모든 픽셀에 박스가 있다는 것을 가정하고 RPN을 훈련시켜서 Bounding Box를 뽑아낸다음 RCNN을 태우는 네트워크 Fully Convolutional Networks – 마지막을 Fully […]
– YOLOv2의 성능 – 성능 향상의 요인 1. Batch Normalization – 모든 컨볼루션 레이어에 배치 정규화를 추가 2. High Resolution Classifier – ImageNet 데이터로 classfication net을 먼저 학습시켜서 고해상도 이미지에도 잘 동작하게 함 3. Convolutional – FCL(Fully Conneted Layer)를 Convolution Layer로 대체 4. Anchor Boxes – 경계 박스를 처음부터 직접 예측 -> 앵커 박스를 초기값으로 사용하여 […]