Effective Approaches to Attention-based Neural Machine Translation (링크) 1. 서론 기계번역에 소계되었던 Seq2Seq 모델을 기억하는가, Encoder 와 Decoder 부로 이루어져 있으며, Encoder 부에서는 해석해야할 문장에 대한 해석을 진행하고, Decoder 부에서는 RNN 을 통해서 Generate 하는 모델로 기존 기계번역 대비 놀라운 성능 향상을 보여 주었던 메커니즘이다. 하지만 문장이 길어짐에 따라서 번역 성능이 급격히 떨어지는 문제가 있는데, 이러한 […]
Pointer Network (링크) 1. 서론 RNN 은 오랜 시간 Text 를 해석하는데 사용되어 왔으나, Input 과 Ouput 의 Size 를 한정해야 한다는 문제를 가지고 있었다. Seq2Seq 에서 Input을 해석하는 부분과 Output 을 생성하는 부분을 분리하면서 이러한 문제를 어느정도 해결하고, Attention Mechanism 을 적용하여 추가적인 정보를 제공하면서 기존에 해결하지 못하던 기계번역과 같은 분야에서 State of Arts 의 […]