Dan Xu, Elisa Ricci, Yan Yan, Jingkuan Song, Nicu Sebe, BMVC in 2015. (paper) 고찰 거의 최초로 딥러닝을 활용한 Video의 Anormaly Activities Detection 문제에 시도한 논문으로 합리적이고 괜찮은 듯함. Auto Encoder 학습에 pre-train / fine-tuning, SVM 학습, 가중치 학습 등 전체 과정이 End-to-End 학습이 되지 않는 듯 함 –> 적절한 대안을 찾으면 Contribution 가능할 듯. […]
Deep Learning Research Group
이 논문은 제목에서 확인 할 수 있는 것과 같이, Semi-Supervised Learning 관한 연구이며, 특히 자연어 처리 쪽에 어떻게 효과적으로 이 기법을 적용할 것인지에 초점을 맞추고 있다. 이 논문에서는 Unsupervised 형태로 Pretrained Model 을 만든 후 , 기존 모델에 활용하는 Word2Vec이나 ElMo 같은 알고리즘을 Semi supervised 의 한 형태로 정의하고 있으며, 이러한 방법의 문제로 Labeled 된 […]
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Sequence Classification with Human Attention Phrase-Based & Neural Unsupervised Machine Translation What you can cram into a single vector: Probing sentence embeddings for linguistic properties SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference Deep contextualized word representations Meta-Learning for Low-Resource Neural Machine Translation Linguistically-Informed Self-Attention […]
Introduction 이 논문은 제목에서도 볼 수 있듯이, ‘왜 Two-Stage Detector들은 이렇게 느린가?’ 라는 의문에서 시작합니다. 그리고 현존하는 어떤 Object Detection 모델들보다 훨씬 빠르고 강력한 모델인 Light-Head R-CNN 을 고안해냅니다. 이 논문을 읽기 위해서는 두 가지 단어의 뜻을 먼저 알고 가야 합니다. 먼저 Body 는 Fast R-CNN 계열 Two-Stage Detector에서 Region Proposal을 만드는 부분을 말합니다. R-CNN이나 Fast R-CNN에서는 Selective Search […]
본 포스트에서는 Bagging, Boosting 그리고 Stacking 기법이 무엇인지, 그리고 각 기법을 사용하는 대표적인 알고리즘들 Random Forest, AdaBoost, Gradient Boost 그리고 요즘 Kaggle Ranker 들이 묻지도 따지지도 않고 사용하는 XgBoost 등에 대해서 설명하고자 한다. 1. Bias & Variance Bagging 및 Boosting 을 설명하기 위해서는 사전에 머신러닝에서 이야기 하는 Error 가 Bias 와 Variance로 구성되어 있으며, 각 […]
AbstractDQN을 연속 action domain에 적용했음. Deterministic policy gradient를 연속공간에서 사용할수 있는 actor-critic, model-free 알고리즘을 개발했음. 20여개의 물리 태스크에서(카트폴, 스윙 등) 잘 동작함. Policy를 찾는 알고리즘이고 역시 raw input 사용해서 end to end로 policy를 직접 학습한다 IntroductionDQN으로 잘했는데, DQN은 높은 차원의 탐색 Observation spaces를 고작 여러개의 low demensinal action space로 바꾸는것 밖에 하지 못함. 각종 물리 […]
1. No, That’s Not My Feedback, TV Show Recommendation Using Watchable Interval IEEE 2019 accept Recommennder System의 문제 : 추천해 줄 Item이 너무 많음 추천 알고리즘 종류 Content Collaborative filltering(논문은 여기서) Target Hybrid ML Base CF?(Nexflix 우승 알고리즘) rating table의 빈칸을 채우기위해 Matrix factorization을 통해 rating table을 근사함. 기존 Sota는 알고리즘은 Watchable Interval을 고려 안함. […]
그동안 CNN(Convolutional Neural Networks)은 이미지 분류, 얼굴 인식, 개체 탐지 등의 다양한 영역에서 널리 사용되었습니다. 안타깝게도 모바일 기기에 맞게 CNN을 설계하기는 어렵습니다. 모바일 모델은 작고 빠르면서도 정확해야 하기 때문입니다. MobileNet이나 MobileNetV2처럼 모바일 모델을 설계하고 개선하기 위한 노력이 많이 있었지만, 고려해야 할 잠재적 사항이 너무 많기 때문에 여전히 효율적인 모델을 수동으로 만들기는 어렵습니다. 최근 AutoML 신경 아키텍처 탐색의 발전에서 영감을 […]
이 논문의 핵심은 고객 마케팅 분석시 흔히 사용하는 RFM(Receny, Frequency, Monetary) 기반의 분석 방법과 Deep Learning 에서 시계열에 효과적이라고 알려진 RNN 을 접목하는 아이디어로 시작한다. 기존에도 마케팅 모델에 Deep Deep Learning을 적용하고자 하는 연구는 있었지만, Fully Connected Network 형태로 활용하여, 시간을 독립적인 인풋 데이터로 활용하였다는 한계가 있다. 그래서 RNN 을 적용해 보겠다는 이야기. Iput 은 […]