Seq2Seq for Encoder & Decoder concept of this algorithm 위 그림에 각 박스는 가장 일반적으로 GRU 쎌이거나 LSTM 쎌인 RNN 쎌을 나타낸다(RNN Tutorial를 참조하길 바란다). 인코더와 디코더는 가중치를 공유 할수 있거나, 더 일반적으로는 다른 매개변수 집합을 사용한다. 다중층 쎌들은 역시 시퀸스-투-시퀸스에서 성공적으로 사용되어 왔다. 예로 번역 Sutskever et al., 2014 (pdf)에서 알수 있다. 위에서 설명된 […]
Word2Vec for word representation concept of this algorithm 기본적으로 컴퓨터가 어떤 단어에 대해 인지할 수 있게 하기 위해서는 수치적인 방식으로 단어를 표현할 수 있어야 한다. 그러나 앞서 말했듯이, 수치화를 통해 단어의 개념적 차이를 나타내기가 근본적으로 힘들었다. 이 한계를 극복하기 전의 NLP는 ‘one-hot encoding’ 방식을 많이 사용했다. 예를 들어, 내가 어떤 단어들이 있는지에 대한 단어 n개짜리 […]
Use AutoEncoder for Anomaly Detection concept of this algorithm AutoEncoder 를 정형 데이터 적용하기 위한 알고리즘을 제공한다. AutoEncoder는 Unsupervised 형태의 훈련 알고리즘으로 별도의 레이블 값 없이 Encoder 와 Decoder 형태의 모델로 인풋 데이터와 같은 아웃풋을 다시 생성해 내는 것을 목표로 하는 알고리즘이다.Anomlay Detection 의 경우 데이터의 분포가 매우 불균형한 바이너리 클레시피케이션 문제를 풀기 위한 방법의 […]
Use CharCNN for train model Concept of this algorithm 워드 임베딩이 인기를 끌고 그 성능 또한 검증된 이후, 단어 결합이나 n-gram으로부터 높은 수준의 피처를 추출해내는 효율적인 함수의 필요성이 증대됐다. 이러한 추상화된 피처들은 감성분석, 요약, 기계번역, 질의응답(QA) 같은 다양한 NLP 문제에 사용될 수 있다. 콘볼루션 신경망은 컴퓨터 비전 분야에서 뛰어난 성능으로 인해 자연스런 선택이었다(Krizhevsky et al., […]
Use Residual Neural Network Concept of this algorithm ILSVRC의 winning 네트워크들의 추세를 봐도 알수 있는 사실이지만 네트워크의 레이어를 층층이 쌓아서 깊게 구현하면 더 좋은 성능을 낸다. 하지만 레이어를 깊게 쌓는 것이 항상 좋은 결과를 낼 까? 네트워크를 깊게 쌓으면 gradient vanishing/exploding 현상이 발생할 수 있기 때문에 네트워크는 학습의 초기 단계부터 saturated되어 버릴 우려가 있다. 하지만 […]
Use AutoML for train model Concept 신경망을 훈련하는데 있어서 최적의 성능을 갖는 하이퍼 파라메터의 조합을 찾는 일은 매우 중요하지만 매우 반복적이며, 많은 시간이 소요되는 작업이다. 우리는 이러한 작업을 사용자의 개입없이 시스템상에서 자동으로 할 수 있도록 하기 위해서 Hyper Parameter Random Search 와 Approximation 을 위한 Genetic Algorithm 그리고 빠른 연산을 위한 복수의 GPU 활용을 위한 […]
Set Up Master Configurations 모델관리 구조 TensorMSA 에서는 딥러닝 및 머신러닝의 훈련 및 서비스를 위한 데이터 및 모델을 위와 같은 구조로 관리하여 최종적으로 서비스까지 연결하고 있다. 구축하고자 하는 대상자체를 정의 – 파이프라인의 구성 및 하이퍼 파라메터 – 훈련에 따른 배치 단위 모델과 같은 구조로 관리하여 사용자가 원하는 버전을 활성화하여 서비스 할 수 있다. 등록된 신경망 […]