RECURRENT BATCH NORMALIZATION (링크) 1. 서론 Batch Norm 은 신경망 훈련시 각각의 Batch 의 데이터의 분포가 매우 상이하기 때문에 발생하는 문제를 해결하기 위해 고안된 방법으로, 현재 대부분의 신경망 설계시 빠르고 효율적인 신경망의 훈련을 위해서 적용되고 있다. 본 논문에서는 RNN 구조에서 Batch Norm 을 적용하는 방법에 대해서 이야기 하고 있다. 2. 선행 연구 (1) LSTM LSTM […]
Effective Approaches to Attention-based Neural Machine Translation (링크) 1. 서론 기계번역에 소계되었던 Seq2Seq 모델을 기억하는가, Encoder 와 Decoder 부로 이루어져 있으며, Encoder 부에서는 해석해야할 문장에 대한 해석을 진행하고, Decoder 부에서는 RNN 을 통해서 Generate 하는 모델로 기존 기계번역 대비 놀라운 성능 향상을 보여 주었던 메커니즘이다. 하지만 문장이 길어짐에 따라서 번역 성능이 급격히 떨어지는 문제가 있는데, 이러한 […]
Pointer Network (링크) 1. 서론 RNN 은 오랜 시간 Text 를 해석하는데 사용되어 왔으나, Input 과 Ouput 의 Size 를 한정해야 한다는 문제를 가지고 있었다. Seq2Seq 에서 Input을 해석하는 부분과 Output 을 생성하는 부분을 분리하면서 이러한 문제를 어느정도 해결하고, Attention Mechanism 을 적용하여 추가적인 정보를 제공하면서 기존에 해결하지 못하던 기계번역과 같은 분야에서 State of Arts 의 […]
자습용으로 공부하기 위해 정리한 자료 입니다. 출처는 맨 밑에 있습니다. 1. 개요 – 상품추천, 중복상품검색, 적정 가격 설정 등등에서 ML을 다양하게 사용 – 좋은 feature를 뽑는 방법이 없을까??? – Contents 추천, Sentence Embedding, Document Embedding이랑 비슷함 2. 과거 방법 – TF-IDF를 주로 씀(http://euriion.com/?p=411929) – 해당 데이터셋에 오버피팅이 됨 – 계산이나 저장에 비효율적 – 의미를 […]
Prophet: forecasting at scale 예측 Forecast는 1> Capacity Planning – 효율적인 자원할당 2> Goal Setting – Baseline과 관련있는 성과 측정 3> 결측치(anomaly detection)를 제거 위 3가지의 선결 조건이 있다. 대부분의 예측은 그 상황에 대한 경험에 의존적일 수 밖에 없으며, 그렇기에 우리는 그런 상황에 대한 가정을 통해 문제를 풀어간다. 예측은 주로 시간의 흐름에 따라 순서대로 관측되는 […]
아래 논문 순서를 토데로 설명 1. Memory Networks J Weston (Facebook AI Research)저술 – 2014 – 665회 인용 2.End-To-End Memory Networks S Sukhbaatar 저술 – 2015 – 644회 인용 3.Dynamic Memory Networks for Natural Language Processing A Kumar 저술 – 2016 – 379회 인용 Memory network에 대한 이해 from Susang Kim https://docs.google.com/presentation/d/e/2PACX-1vTHoMg2Z_fBo5_1Q_ZSk5YORS0IGvPEUimBwlHXrbpOAQXrKUm4M_eFLjE3Lxgnk3T6lcdcYWSCqCtI/pub?start=false&loop=false&delayms=3000
R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS 1. 서론 자연어 처리 문제 중 주어진 Context 를 이해하고 주어진 질문에 답변하는 문제를 흔히 MRC (Machine Reading Comprehension) 라고표현을 하는데, 풀고자 하는 문제는 아래의 예시와 같다. 아래의 예를 보면, 주어진 두줄의 문장이 있는데 (여기에는 Joe 가 어디에 있고 뭘하고 있는지 정보가 포함되어 있다.) 여기에 Where is the […]
Image Caption Generation with Attention Mechanism: Model details 이 논문 역시 다른 기존 deep learning caption generator model들처럼 image에서 caption을 생성하는 과정을 image라는 언어에서 caption이라는 언어로 ‘translatation’ 하는 개념을 사용한다. 따라서 이 논문은 machine translation의 encoder-decoder 개념을 사용하게 되는데, encoder는 우리가 잘 알고 있는 CNN을 사용하고, decoder로 RNN, 정확히는 LSTM을 사용하게 된다. 이 논문의 핵심이라고 […]
( 원문 출처 : https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2324930 ) Reducing Retirement Risk with a Rising Equity Glidepath (상승 주식 글라이드 경로로 퇴직 위험 감소) Abstract 이 연구는 고객 포트폴리오의 적절한 기본 주식 글라이드 경로가 무엇인지에 대한 문제를 탐구합니다. 라이프 사이클의 퇴직 단계. 놀랍게도, 은퇴 후에 주식 주식이 상승하는 것을 볼 수 있습니다. 포트폴리오는 보수적으로 시작하여 퇴직 시간을 통해 공격적으로 […]
컴퓨터 비젼에서 많이쓰이는 뉴럴넷을 정확도는 유지하면서 네트워크를 경량화하여 속도를 빠르게하는 Google이 발표한 논문으로 유사한 내용의 아래 네트워크와 비교 SqueezNet (2016.02) ShuffleNet (2017.07) NasNet-A (2017.07) SquishedNets (2017.11) ENet (2017.11) 현재 개발중인 Face Recognition의 Edge 처리를 Small DNN을 위한 참고용으로 적합 1. Small DNN이 필요한 이유 2. MobileNet의 속도와 정확도 3. MobileNet의 원리 이론 : CNN의 파라미터 […]