BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Paper) Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova Google AI Language 1. 서론 기존의 자연어 처리 모델은 Specific Task 모델을 Inital State 에서 부터 훈련하기 위한 형태로 접근하였다. 이러한 접근 방법의 문제는 여러가지가 있겠지만, 목적별로 많은 훈련 데이터를 확보해야만 한다는 것이 가장 큰 문제일 것이다. […]
[Paper] Focal Loss for Dense Object Detection(2017) Contents 이 논문은 일반적으로 Object Detection 영역에서 Classification 부분에 해당하는 Loss Function을 설정할 때 사용되는 Cross-entropy에 대한 간단한 변형인 Focal Loss를 제안함으로써 Object Detection Algorithm의 성능을 향상시키는 방법을 소개합니다.
자습용으로 작성한 자료 입니다. 출처는 맨 밑에 있습니다. 관련된 논문 – mobile net v1, shuffle net 등 개요 – 지금까지 CNN이 발전해 오면서 성능도 좋아졌지만 높은 연산량이 필요하도록 발전함 – 최근에 NAS계열의 Architecture Search도 있지만 역시 너무 복잡함. – 모바일에 맞는 Architecture를 찾는게 목표 Recap – Mobilenet V1 은 Depthwise와 Pointwise(1 […]
CAD : computer-aided diagnosis Framework GBM : gradient boosting machine DeepLung Classification based on detection Discussion
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi (Submitted on 15 Sep 2016 (v1), […]
1. 서론 얼굴탐지가 어려운 이유 – 조명, 포즈, 겹침등 문제를 해결하기 위해 – 3개의 Multi Task CNN을 사용하여 얼굴과 랜드마크를 탐지하고, – Online hard Sample mining 전략을 사용하여 훈련하는 방법을 제안 * 얼굴검출(Face Detection) * 얼굴 랜드마크 과거에는 아래의 기술들을 사용함 – Haar-Like features(유사 하르 특징) and AdaBoost – Deformable part […]
Applying Deep Learning to Enhance Momentum Trading Strategies in Stocks http://cs229.stanford.edu/proj2013/TakeuchiLee-ApplyingDeepLearningToEnhanceMomentumTradingStrategiesInStocks.pdf abstract 우리는 개별 주식 가격의 history에서 feature를 추출하기 위해 stacked restricted Boltzmann machines로 구성된 autoencoder을 사용한다.우리 모델은 입력 기능의 extensive hand-engineering 없이 주식의 momentum effect의 향상된 버전을 발견하고 1990-2009 테스트 기간 동안 45.93 %의 연간 수익률을 basic momentum에 대해 10.53 %로 제공 할 수 […]
(paper) 참고 / 관련 논문 [1] Dimensionality Reduction by Learning an Invariant Mapping, Y. Lecun, 2005 (paper) [2] Fully-Convolutional Siamese Networks for Object Tracking, L. Bertinetto, 2016 (paper) [3] Signature verification using a siamese time delay neural network, Y. Lecun, 1993 (paper) Introduction ML 영역에서 좋은 Feature를 학습시키는 과정은 많은 연산량을 요구한다. 또한 주어진 데이터의 […]