이 논문은 제목에서 확인 할 수 있는 것과 같이, Semi-Supervised Learning 관한 연구이며, 특히 자연어 처리 쪽에 어떻게 효과적으로 이 기법을 적용할 것인지에 초점을 맞추고 있다. 이 논문에서는 Unsupervised 형태로 Pretrained Model 을 만든 후 , 기존 모델에 활용하는 Word2Vec이나 ElMo 같은 알고리즘을 Semi supervised 의 한 형태로 정의하고 있으며, 이러한 방법의 문제로 Labeled 된 […]
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Sequence Classification with Human Attention Phrase-Based & Neural Unsupervised Machine Translation What you can cram into a single vector: Probing sentence embeddings for linguistic properties SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference Deep contextualized word representations Meta-Learning for Low-Resource Neural Machine Translation Linguistically-Informed Self-Attention […]