TensorFlow 2.0 TensorFlow가 나온지 3년이 넘어간다… (2015년 11월) TF 2.0은 생산성과 편리성을 초점에 두어 아래의 4가지 특징으로 설계하였다 (사용자 친화적으로 바뀜)– Eager(Default)와 Keras(High Level API통합-v1.4 2017.11 Merged) 그리고 TF Data(Input Pipelines)로 일원화함 Pythonic한 개발을 지향 – tf.layers -> tf.keras.layers / tf.Estimator -> tf.keras (premaded) Easy model building with Keras and eager execution. TensorFlow 2.0 runs […]
MegaFace Challenge에서 SOTA를 달성한 내용에 대한 논문에 대한 설명 – 1st (2018.Feb.8) 별도 설명 자료가 없어 논문을 토데로 아래 참고 논문을 바탕으로 설명 [대표 설명 논문]1. ArcFace: Additive Angular Margin Loss for Deep Face RecognitionJ Deng 저술 – 2018.1.18 – 19회 인용[참고 논문]1. FaceNet: A Unified Embedding for Face Recognition and ClusteringF Schroff 저술 – […]
아래 논문 순서를 토데로 설명 1. Memory Networks J Weston (Facebook AI Research)저술 – 2014 – 665회 인용 2.End-To-End Memory Networks S Sukhbaatar 저술 – 2015 – 644회 인용 3.Dynamic Memory Networks for Natural Language Processing A Kumar 저술 – 2016 – 379회 인용 Memory network에 대한 이해 from Susang Kim https://docs.google.com/presentation/d/e/2PACX-1vTHoMg2Z_fBo5_1Q_ZSk5YORS0IGvPEUimBwlHXrbpOAQXrKUm4M_eFLjE3Lxgnk3T6lcdcYWSCqCtI/pub?start=false&loop=false&delayms=3000
컴퓨터 비젼에서 많이쓰이는 뉴럴넷을 정확도는 유지하면서 네트워크를 경량화하여 속도를 빠르게하는 Google이 발표한 논문으로 유사한 내용의 아래 네트워크와 비교 SqueezNet (2016.02) ShuffleNet (2017.07) NasNet-A (2017.07) SquishedNets (2017.11) ENet (2017.11) 현재 개발중인 Face Recognition의 Edge 처리를 Small DNN을 위한 참고용으로 적합 1. Small DNN이 필요한 이유 2. MobileNet의 속도와 정확도 3. MobileNet의 원리 이론 : CNN의 파라미터 […]
NIPS 2017 및 Deview2017 발표자료를 토데로 정리 [NAVER]NSML Alpha Test_Group3 에 참가 및 테스트 참여 서약서(보안서약서)에 서명 제출하였기에 arxiv에 공유된 논문내용과 공유된 내용 위주로 우리가 개발한 TensorMSA와도 비교 분석 1. NSML이란? – Naver Smartest Machine Learning Platform의 약자로 사용자는 모델 개발에 집중할수 있게 해주는 플랫폼 – on-premise와 PaaS기반 서비스를 제공 (참고로 TensorMSA의 경우 SaaS 형태 – […]
Wide & Deep Learning for Recommender Systems의 논문과 Tensroflow Submit 2017 발표 자료를 참조 하여 정리 개요 Wide에 대한 이해 Deep에 대한 이해 Feature Embedding Joint Training(Wide + Deep) How to serve 추천 시스템에 적용 결과 1.개요 일반화(Deep)와 기억(Wide)의 개념을 적용하여 범용적으로 추천을 해주는 Google Play에 적용된 알고리즘 독수리는 난다 / 비둘기는 난다 / […]
현재 가장 많이 쓰이는 어텐션 메커니즘(Attention Mechanism)에 대해 아래 논문을 바탕으로 정리한 내용입니다. 논문에 나오는 Global/Local Attention 내용에 추가로 Soft/Hard Attention에 대한 소개와 아래 논문보다 앞에 나온 Bahdanau vs Luong Attention에 대한 비교 소개 Attention Mechanism(Seq2Seq) Attention Mechanism(Seq2Seq) Introduction to Attention Mechanism (Neural Machine Translation / Python, Tensorflow) Source: www.slideshare.net/healess/attention-mechanismseq2seq Effective Approaches to Attention-based Neural Machine Translation […]