포스트에서는 텍스트 요약에 대한 전반적인 내용을 다루어 보고자 한다. 텍스트의 요약이라는 것은 당연히 장문의 Document 를 함축적인 문장이나 핵심 키워드로 축약하는 기술을 의미하며, 이러한 요약 기술은 형태적인 측면에서 크게 Abstractive Summary 와 Extractive Summary 두 가지로 나누어진다고 볼 수 있다. 두 가지의 차이는 예시적으로 설명하면 아래와 같다. 주어진 Document가 있을 때 그 문장에서 가장 핵심적인 […]
Dan Xu, Elisa Ricci, Yan Yan, Jingkuan Song, Nicu Sebe, BMVC in 2015. (paper) 고찰 거의 최초로 딥러닝을 활용한 Video의 Anormaly Activities Detection 문제에 시도한 논문으로 합리적이고 괜찮은 듯함. Auto Encoder 학습에 pre-train / fine-tuning, SVM 학습, 가중치 학습 등 전체 과정이 End-to-End 학습이 되지 않는 듯 함 –> 적절한 대안을 찾으면 Contribution 가능할 듯. […]
이 논문은 제목에서 확인 할 수 있는 것과 같이, Semi-Supervised Learning 관한 연구이며, 특히 자연어 처리 쪽에 어떻게 효과적으로 이 기법을 적용할 것인지에 초점을 맞추고 있다. 이 논문에서는 Unsupervised 형태로 Pretrained Model 을 만든 후 , 기존 모델에 활용하는 Word2Vec이나 ElMo 같은 알고리즘을 Semi supervised 의 한 형태로 정의하고 있으며, 이러한 방법의 문제로 Labeled 된 […]
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Sequence Classification with Human Attention Phrase-Based & Neural Unsupervised Machine Translation What you can cram into a single vector: Probing sentence embeddings for linguistic properties SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference Deep contextualized word representations Meta-Learning for Low-Resource Neural Machine Translation Linguistically-Informed Self-Attention […]
Introduction 이 논문은 제목에서도 볼 수 있듯이, ‘왜 Two-Stage Detector들은 이렇게 느린가?’ 라는 의문에서 시작합니다. 그리고 현존하는 어떤 Object Detection 모델들보다 훨씬 빠르고 강력한 모델인 Light-Head R-CNN 을 고안해냅니다. 이 논문을 읽기 위해서는 두 가지 단어의 뜻을 먼저 알고 가야 합니다. 먼저 Body 는 Fast R-CNN 계열 Two-Stage Detector에서 Region Proposal을 만드는 부분을 말합니다. R-CNN이나 Fast R-CNN에서는 Selective Search […]
본 포스트에서는 Bagging, Boosting 그리고 Stacking 기법이 무엇인지, 그리고 각 기법을 사용하는 대표적인 알고리즘들 Random Forest, AdaBoost, Gradient Boost 그리고 요즘 Kaggle Ranker 들이 묻지도 따지지도 않고 사용하는 XgBoost 등에 대해서 설명하고자 한다. 1. Bias & Variance Bagging 및 Boosting 을 설명하기 위해서는 사전에 머신러닝에서 이야기 하는 Error 가 Bias 와 Variance로 구성되어 있으며, 각 […]
AbstractDQN을 연속 action domain에 적용했음. Deterministic policy gradient를 연속공간에서 사용할수 있는 actor-critic, model-free 알고리즘을 개발했음. 20여개의 물리 태스크에서(카트폴, 스윙 등) 잘 동작함. Policy를 찾는 알고리즘이고 역시 raw input 사용해서 end to end로 policy를 직접 학습한다 IntroductionDQN으로 잘했는데, DQN은 높은 차원의 탐색 Observation spaces를 고작 여러개의 low demensinal action space로 바꾸는것 밖에 하지 못함. 각종 물리 […]
1. No, That’s Not My Feedback, TV Show Recommendation Using Watchable Interval IEEE 2019 accept Recommennder System의 문제 : 추천해 줄 Item이 너무 많음 추천 알고리즘 종류 Content Collaborative filltering(논문은 여기서) Target Hybrid ML Base CF?(Nexflix 우승 알고리즘) rating table의 빈칸을 채우기위해 Matrix factorization을 통해 rating table을 근사함. 기존 Sota는 알고리즘은 Watchable Interval을 고려 안함. […]