제11회공개sw개발자대회 금상 TensorMSA(소개) 제11회공개sw개발자대회 금상 TensorMSA(소개) 제11회 공개sw개발자대회 일반부문 금상 수상작 TensorMSA 소개 (Tensorflow MicroServiceArchitecture) Source: www.slideshare.net/healess/11sw-tensormsa . 제11회 공개소프트웨어 개발자대회 제11회 공개소프트웨어 개발자대회 미래창조과학부 주최,공개SW 국제 공모전,공개소프트웨어개발자대회,행사일 Source: project.oss.kr/board/noticeView.do?board_seq=829
How To Install Tensormsa Docker-compose version Tensormsa를 구성하기 위해선 Django, Postgres, Nginx, RabbitMQ등 여러 OpenSource 프로그램이 필요하다. 각각의 Official Docker를 Compose 하여 Tensormsa를 실행하는 방법을 안내한다. Prerequisite Tensormsa를 실행하기 위해서는 Docker-compose환경이 필요하다. 설치방법은 Docker Official site를 참고한다 OS : ubuntu 16.04 Docker ce lastest version(https://docs.docker.com/engine/installation/) Docker-comcopse 1.16+(https://docs.docker.com/compose/install/) Git clone Tensormsa를 실행하기 위해서 git을 clone한다. Docker구성을 […]
TensorMSA Easy to Use UI/UX 우리의 프레임웍은 크게 두가지 형태로 서비스를 제공하는데 기본적으로 대부분의 기능을 Rest API 형태로 구축하여 서버간의 연동을 통한 사용방법과 지금 설명하고자 하는 UI/UX 기반의 서비스 제공이다. 서버간의 데이터 수집 및 모델 갱신 과정을 연동을 통해 자동화 하고자 할때는 Rest API 를 통해 서비스를 구성하는 것이 효과적일 것이고, 사용자가 분석을 하려는 목적을 […]
Overroll Service Architecutre 시스템 구성 관점에서의 Architecture 로 “Master”, “AP”, “Train”, “DB”, ”Cluster” 크게 5가지 형태의 Docker Container 를 제공한다. Master 는 전체 서버를 컨트롤하는 기능 수행, Train 은 주로 GPU 서버로 모델의 훈련을 수행, AP 는 훈련된 모델을 서비스로 연결하는 역할을 수행하며, DB와 Cluster 는 각 구성요소들을 연결하기 위한 역할을 수행하게 됩니다. TensorMSA는 이러한 […]
Architecture FrameWork Stack 1.Front End : React(ES6), SVG, D3, Pure CSS, Mobile(for Chatbot FW) 2.Back End : Django(Python 3.5), Restful Service(Micro Service Architecture), Tensorflow(v1.2), PostgreSQL, Memcache, Celery, Spqrk QL, HDF5, Ngix, Gensim, Konlpy 3.Methology : Agile (CI, TDD, Pair programming and Cloud) 4.Infrastructure : Docker
Seq2Seq for Encoder & Decoder concept of this algorithm 위 그림에 각 박스는 가장 일반적으로 GRU 쎌이거나 LSTM 쎌인 RNN 쎌을 나타낸다(RNN Tutorial를 참조하길 바란다). 인코더와 디코더는 가중치를 공유 할수 있거나, 더 일반적으로는 다른 매개변수 집합을 사용한다. 다중층 쎌들은 역시 시퀸스-투-시퀸스에서 성공적으로 사용되어 왔다. 예로 번역 Sutskever et al., 2014 (pdf)에서 알수 있다. 위에서 설명된 […]
Word2Vec for word representation concept of this algorithm 기본적으로 컴퓨터가 어떤 단어에 대해 인지할 수 있게 하기 위해서는 수치적인 방식으로 단어를 표현할 수 있어야 한다. 그러나 앞서 말했듯이, 수치화를 통해 단어의 개념적 차이를 나타내기가 근본적으로 힘들었다. 이 한계를 극복하기 전의 NLP는 ‘one-hot encoding’ 방식을 많이 사용했다. 예를 들어, 내가 어떤 단어들이 있는지에 대한 단어 n개짜리 […]
Use AutoEncoder for Anomaly Detection concept of this algorithm AutoEncoder 를 정형 데이터 적용하기 위한 알고리즘을 제공한다. AutoEncoder는 Unsupervised 형태의 훈련 알고리즘으로 별도의 레이블 값 없이 Encoder 와 Decoder 형태의 모델로 인풋 데이터와 같은 아웃풋을 다시 생성해 내는 것을 목표로 하는 알고리즘이다.Anomlay Detection 의 경우 데이터의 분포가 매우 불균형한 바이너리 클레시피케이션 문제를 풀기 위한 방법의 […]
Use CharCNN for train model Concept of this algorithm 워드 임베딩이 인기를 끌고 그 성능 또한 검증된 이후, 단어 결합이나 n-gram으로부터 높은 수준의 피처를 추출해내는 효율적인 함수의 필요성이 증대됐다. 이러한 추상화된 피처들은 감성분석, 요약, 기계번역, 질의응답(QA) 같은 다양한 NLP 문제에 사용될 수 있다. 콘볼루션 신경망은 컴퓨터 비전 분야에서 뛰어난 성능으로 인해 자연스런 선택이었다(Krizhevsky et al., […]
Use Residual Neural Network Concept of this algorithm ILSVRC의 winning 네트워크들의 추세를 봐도 알수 있는 사실이지만 네트워크의 레이어를 층층이 쌓아서 깊게 구현하면 더 좋은 성능을 낸다. 하지만 레이어를 깊게 쌓는 것이 항상 좋은 결과를 낼 까? 네트워크를 깊게 쌓으면 gradient vanishing/exploding 현상이 발생할 수 있기 때문에 네트워크는 학습의 초기 단계부터 saturated되어 버릴 우려가 있다. 하지만 […]