https://docs.google.com/presentation/d/e/2PACX-1vQG3Pi_j13d15qoz_mPoszeKPi5pKqSOq3rmtqjD-M1v6SNyEAWrUIx6EpBUN4eUZ-1sCvtKLXaupuL/pub?start=false&loop=false&delayms=3000
딥러닝 알고리즘을 솔루션화하고 서비스화 하는 것은 바로 업의 특성에 맞는 프로세스를 제대로 알고 이에 맞추어 프로세스를 개선할 수 있는 메카니즘을 적립하고 기존에 사용되고 있는 방법보다 개선된 점이 있는지에 대한 검증 방안을 갖추어 놓은 상태에서 AI MODEL SERVING LAYER단에서 MODEL REPLACEMENT에 대한 방안 그리고 정확도나 실 데이터 유입 시 장애 대응에 대한 고려 모델 교체 주기 […]
OpenAI에서 2017년 발표한 본 논문에서는 Qlearning과 Policy Gradients와 같은 MDP 기반 RL 기법의 대안으로 블랙박스 최적화 알고리즘의 클래스인 Evolution Strategies (ES)의 사용을 탐구한다. Evolution Strategies– Evolution Strategies (ES)는 자연 진화에 영감을 받은 heuristic 검색 절차인 블랙 박스 최적화 알고리즘 [Rechenberg and Eigen, 1973, Schwefel, 1977]의 클래스– 모든 반복( “세대”)에서 매개 변수 벡터의 모집단( “유전형”)이 교란( […]
Curriculum learning은 모델이 학습을 더 잘 할 수 있는 학습 과정을 정의하는 분야입니다. Paper Link : Curriculum Learning – Yoshua Bengio(2009) Curriculum Visualization Intuition Model Name No curriculum Assign uniform weight to every sample uniform. baseline_mentornet Self-paced (Kuma et al. 2010) Favor samples of smaller loss. self_paced_mentornet SPCL linear (Jiang et al. 2015) Discount the […]
BERT 와 Siamese Neural Networks 의 조합을 통해 Text Classification 을 OneShot 으로 적용해 보고자 한다. 아래는 Test Code Link (Colab) https://colab.research.google.com/drive/1ixWY3er1Wxirl1r2zGxular2ZplpK-qN
MRC(Machine Reading Comprehension) 연구 최신 Trend 인 XLNet 과 Albert 에 대한 Review
1. Boolean Retrieval (1) Inverted Index Term-document incidence matrix 는 Boolean 연산 기반으로 Information Retrieval 을 하기 위한 대표적인 방법으로 기본적으로 위의 테이블과 같은 가로축은 문서, 세로축은 단어 형태로 Matrix 를 구성하고, 각 문서 별로 단어가 존재하면 1, 그렇지 않으면 0 형태로 테이블을 구성하는 것을 시작으로 한다. 하지만 이러한 방법은 Matrix 사이즈가 매우 크고 데이터가 […]