Unsupervised Deep Embedding for Clustering Analysis (Paper) J. Xie, R. Girshick, A. Farhadi (University of Washington, Facebook AI Reaserch), 2016 1. 서론 Clustering 은 우리가 데이터를 Unsupervised 로 분석하기 위해서 사용하는 방법으로, 이 논문에서는 딥러닝을 활용하여 Feature Representation과 Cluster Assignment 를 동시에하는 것을 목표로 합니다. 첫 번째 목표인, Feature Representation은 X 를 우리에게 주어진 데이터, […]
Deep Learning Research Group
Visualizing Data using t-SNE (Paper) 1. 서론 우리가 Clustering 등의 작업을 위해서 고차원의 데이터를 시각화 하기 위해서는 저차원으로 데이터를 맵핑할 필요가 있는데, 이때 선택할 수 있는 방법이 PCA 등이 있을 수 있는데 여기서는 T-SNE 를 활용한 고차원 데이터의 저차원 데이터로의 맵핑과 시각화에 대해서 설명하고 있다. 2. 기존 연구 (SNE : Stochastic Neighbor Embedding) Stochastic Neighbor […]
안녕하세요. 첫번째 스터디를 위해 글을 올립니다. Variational Auto Encoder Auto-Encoding Variational Bayes, 2014 비록 오래된 논문이긴 하지만 많은 논문에서 VAE의 개념과 사용된 목적함수(Evidence Lower Bound)가 갖는 의미 등이 중요하다고 생각되어 공부하여 정리한 내용을 소개드리겠습니다. 간단하게 Auto Encoder와 Variational Auto Encoder에 대해 소개한 후, VAE의 목적함수에 KL Divergence와 Bayes Rule, MonteCarlo Approximation이 ELBO에 어떻게 녹아들어 어떤 […]
MegaFace Challenge에서 SOTA를 달성한 내용에 대한 논문에 대한 설명 – 1st (2018.Feb.8) 별도 설명 자료가 없어 논문을 토데로 아래 참고 논문을 바탕으로 설명 [대표 설명 논문]1. ArcFace: Additive Angular Margin Loss for Deep Face RecognitionJ Deng 저술 – 2018.1.18 – 19회 인용[참고 논문]1. FaceNet: A Unified Embedding for Face Recognition and ClusteringF Schroff 저술 – […]
https://www.cs.umd.edu/~samir/498/Amazon-Recommendations.pdf 추천 알고리즘은 전자 상거래 웹 사이트에서 사용하는 것으로 알려져 있다. 그 이유는 전자 상거래 사이트야 말로 고객과의 접점이며 이는 바로 고객 분석을 통한 매출 극대화와 연관이 있기 때문이다. 그렇기에 Amazon에서는 고객의 관심사에 대한 정보를 사용하여 권장 항목 목록을 생성하고 그곳에서 만들어진 많은 응용 프로그램은 고객이 구매하고 명시적으로 자신의 관심사를 나타 내기 위해 평가한 항목(별점, […]
Malware Detection Using Deep Transferred Generative Adversarial Networks by Jin-Young Kim, Seok-Jun Bu, and Sung-Bae Cho 1. 서론 악성 소프트웨어는 컴퓨터에 악영향을 끼치는 모든 소프트웨어의 총칭이다. 여러 단체 및 개인이 어마어마하게 피해를 보고 있으므로 악성 소프트웨어 탐지는 중요한 문제이다. 개발자들은 백신에 탐지되지 않게 숨기고, 백신은 탐지할려고 한다. 현백신은 샘플링을 기반으로 악성소프트웨어를 탐지하는데 악성소프트웨어가 어마어마하게 늘어나고 […]
참고자료 : https://www.youtube.com/watch?v=GyQnex_DK2k&feature=youtu.be
An Overview of Multi-Task Learning in Deep Neural Networks (Paper, Blog) 1. 서론 보통 우리가 머신러닝으로 무언가를 할때 통상적으로 하나의 모델을 훈련하거나 복수의 모델을 훈련하여 Ensemble 하는 형태로 우리가 추구하고자 하는 목표를 잘 해석할 수 있는 모델을 만들고자 노력한다. 그 이후에는 Fine 튜닝 등의 방법으로 성능을 끌어올리고자 노력하다가 더 이상 모델의 성능의 개선되지 않으면 모델 개발을 […]
Scoring (Probs to Score) (링크) 1. 서론 Scoring 을 왜 해야 하는가? 우리가 모델을 만들면 Logistic 의 예로 0~1 사이의 확률 값을 갖게 된다. 그러데 이것이 업무적으로 커뮤니케이션을 할때, 어떤 사람이 연체할 확률이 0.843 이에요라는 것은 상당히 어렵다. 이러한 문제를 해결하고자 1000점 만점으로 rescaling 을 해서, 1000점에서 900점 구간은 연체 1등급, 900점에서 800점은 연체 2등급 이러한 […]
RECURRENT BATCH NORMALIZATION (링크) 1. 서론 Batch Norm 은 신경망 훈련시 각각의 Batch 의 데이터의 분포가 매우 상이하기 때문에 발생하는 문제를 해결하기 위해 고안된 방법으로, 현재 대부분의 신경망 설계시 빠르고 효율적인 신경망의 훈련을 위해서 적용되고 있다. 본 논문에서는 RNN 구조에서 Batch Norm 을 적용하는 방법에 대해서 이야기 하고 있다. 2. 선행 연구 (1) LSTM LSTM […]