TensorFlow 2.0 TensorFlow가 나온지 3년이 넘어간다… (2015년 11월) TF 2.0은 생산성과 편리성을 초점에 두어 아래의 4가지 특징으로 설계하였다 (사용자 친화적으로 바뀜)– Eager(Default)와 Keras(High Level API통합-v1.4 2017.11 Merged) 그리고 TF Data(Input Pipelines)로 일원화함 Pythonic한 개발을 지향 – tf.layers -> tf.keras.layers / tf.Estimator -> tf.keras (premaded) Easy model building with Keras and eager execution. TensorFlow 2.0 runs […]
Deep Learning Research Group
대용량 혹은 분산 처리 환경에서 BatchSize와 Learning rates를 설정하는데 있어 자주 실수 하는 부분을 정리해주는 논문 관련된 논문 “Don’t Decay the learning Rate, Increase the Batch Size Distributed Training of neural Networks Fast and easy distributed deep learning n TensorFlow Motivate 데이터가 많아 짐에 따라 Training 시간이 점점더 오래 걸리고 있음( 몇시간에서 몇일, 몇주일까지 ) 회사 […]
docker : https://github.com/edmBernard/DockerFiles Dockerfile.android 32bit ENV NDK_VERSION “android-ndk-r13b” make clean # && \ # make ANDROID=1 64bit ENV NDK_VERSION “android-ndk-r14b” RUN $LIB_DIR/${NDK_VERSION}/build/tools/make_standalone_toolchain.py \ –arch arm64 –api 21 –install-dir $NDK_TOOLCHAIN_DIR –stl=libc++ RUN cd “$LIB_DIR” && git clone https://github.com/xianyi/OpenBLAS.git && cd OpenBLAS && \ git checkout tags/v0.2.19 && \ make TARGET=ARMV8 HOSTCC=gcc CC=aarch64-linux-android-gcc NOFORTRAN=1 && \ make PREFIX=$OPENBLAS_DIR […]
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Paper) Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova Google AI Language 1. 서론 기존의 자연어 처리 모델은 Specific Task 모델을 Inital State 에서 부터 훈련하기 위한 형태로 접근하였다. 이러한 접근 방법의 문제는 여러가지가 있겠지만, 목적별로 많은 훈련 데이터를 확보해야만 한다는 것이 가장 큰 문제일 것이다. […]
[Paper] Focal Loss for Dense Object Detection(2017) Contents 이 논문은 일반적으로 Object Detection 영역에서 Classification 부분에 해당하는 Loss Function을 설정할 때 사용되는 Cross-entropy에 대한 간단한 변형인 Focal Loss를 제안함으로써 Object Detection Algorithm의 성능을 향상시키는 방법을 소개합니다.
자습용으로 작성한 자료 입니다. 출처는 맨 밑에 있습니다. 관련된 논문 – mobile net v1, shuffle net 등 개요 – 지금까지 CNN이 발전해 오면서 성능도 좋아졌지만 높은 연산량이 필요하도록 발전함 – 최근에 NAS계열의 Architecture Search도 있지만 역시 너무 복잡함. – 모바일에 맞는 Architecture를 찾는게 목표 Recap – Mobilenet V1 은 Depthwise와 Pointwise(1 […]