Curriculum learning은 모델이 학습을 더 잘 할 수 있는 학습 과정을 정의하는 분야입니다. Paper Link : Curriculum Learning – Yoshua Bengio(2009) Curriculum Visualization Intuition Model Name No curriculum Assign uniform weight to every sample uniform. baseline_mentornet Self-paced (Kuma et al. 2010) Favor samples of smaller loss. self_paced_mentornet SPCL linear (Jiang et al. 2015) Discount the […]
Deep Learning Research Group
BERT 와 Siamese Neural Networks 의 조합을 통해 Text Classification 을 OneShot 으로 적용해 보고자 한다. 아래는 Test Code Link (Colab) https://colab.research.google.com/drive/1ixWY3er1Wxirl1r2zGxular2ZplpK-qN
MRC(Machine Reading Comprehension) 연구 최신 Trend 인 XLNet 과 Albert 에 대한 Review
1. Boolean Retrieval (1) Inverted Index Term-document incidence matrix 는 Boolean 연산 기반으로 Information Retrieval 을 하기 위한 대표적인 방법으로 기본적으로 위의 테이블과 같은 가로축은 문서, 세로축은 단어 형태로 Matrix 를 구성하고, 각 문서 별로 단어가 존재하면 1, 그렇지 않으면 0 형태로 테이블을 구성하는 것을 시작으로 한다. 하지만 이러한 방법은 Matrix 사이즈가 매우 크고 데이터가 […]
ABSTRACT Alphago Zero는 인간의 데이터를 빼고 강화 학습만을 기반으로 하여 압도적인 성능을 이끌어내어 이세돌과 대국하였던 Alphago Lee를 상대로 100 : 0 으로 승리하였다. Alphago Lee simple review b-1. Policy network -> 선택의 너비를 줄여주는 network : 확률분포를 리턴한다.b-2. Value network -> 선택의 깊이를 줄여주는 network : 상수를 리턴한다. a-1. Rollout policy -> 빠른 시뮬레이션을 위한 […]
paper, Github Naver Clova 팀에서 올해 4월에 공개한 OCR 논문입니다. 이 논문의 저자는 OCR 영역에서 Localization 쪽에 초점을 두어 연구를 수행하였고, 글자가 curve / arbitrary shape / extremely long 한 경우에도 글자 영역을 잘 찾아 낼 수 있는 방법을 제안합니다. 1. Introduction 기존에 수행되었던 많은 OCR 방법들은 word-level의 Bounding Box의 위치를 찾기위해서 네트워크를 활용한다. 하지만 […]