Word2Vec for word representation concept of this algorithm 기본적으로 컴퓨터가 어떤 단어에 대해 인지할 수 있게 하기 위해서는 수치적인 방식으로 단어를 표현할 수 있어야 한다. 그러나 앞서 말했듯이, 수치화를 통해 단어의 개념적 차이를 나타내기가 근본적으로 힘들었다. 이 한계를 극복하기 전의 NLP는 ‘one-hot encoding’ 방식을 많이 사용했다. 예를 들어, 내가 어떤 단어들이 있는지에 대한 단어 n개짜리 […]
Use AutoEncoder for Anomaly Detection concept of this algorithm AutoEncoder 를 정형 데이터 적용하기 위한 알고리즘을 제공한다. AutoEncoder는 Unsupervised 형태의 훈련 알고리즘으로 별도의 레이블 값 없이 Encoder 와 Decoder 형태의 모델로 인풋 데이터와 같은 아웃풋을 다시 생성해 내는 것을 목표로 하는 알고리즘이다.Anomlay Detection 의 경우 데이터의 분포가 매우 불균형한 바이너리 클레시피케이션 문제를 풀기 위한 방법의 […]
Use CharCNN for train model Concept of this algorithm 워드 임베딩이 인기를 끌고 그 성능 또한 검증된 이후, 단어 결합이나 n-gram으로부터 높은 수준의 피처를 추출해내는 효율적인 함수의 필요성이 증대됐다. 이러한 추상화된 피처들은 감성분석, 요약, 기계번역, 질의응답(QA) 같은 다양한 NLP 문제에 사용될 수 있다. 콘볼루션 신경망은 컴퓨터 비전 분야에서 뛰어난 성능으로 인해 자연스런 선택이었다(Krizhevsky et al., […]
Use Residual Neural Network Concept of this algorithm ILSVRC의 winning 네트워크들의 추세를 봐도 알수 있는 사실이지만 네트워크의 레이어를 층층이 쌓아서 깊게 구현하면 더 좋은 성능을 낸다. 하지만 레이어를 깊게 쌓는 것이 항상 좋은 결과를 낼 까? 네트워크를 깊게 쌓으면 gradient vanishing/exploding 현상이 발생할 수 있기 때문에 네트워크는 학습의 초기 단계부터 saturated되어 버릴 우려가 있다. 하지만 […]
Use AutoML for train model Concept 신경망을 훈련하는데 있어서 최적의 성능을 갖는 하이퍼 파라메터의 조합을 찾는 일은 매우 중요하지만 매우 반복적이며, 많은 시간이 소요되는 작업이다. 우리는 이러한 작업을 사용자의 개입없이 시스템상에서 자동으로 할 수 있도록 하기 위해서 Hyper Parameter Random Search 와 Approximation 을 위한 Genetic Algorithm 그리고 빠른 연산을 위한 복수의 GPU 활용을 위한 […]
Set Up Master Configurations 모델관리 구조 TensorMSA 에서는 딥러닝 및 머신러닝의 훈련 및 서비스를 위한 데이터 및 모델을 위와 같은 구조로 관리하여 최종적으로 서비스까지 연결하고 있다. 구축하고자 하는 대상자체를 정의 – 파이프라인의 구성 및 하이퍼 파라메터 – 훈련에 따른 배치 단위 모델과 같은 구조로 관리하여 사용자가 원하는 버전을 활성화하여 서비스 할 수 있다. 등록된 신경망 […]
TensorMSA Importance of pipe line 딥러닝은 기본적으로 데이터에 기반하여 해당 데이터를 최대한 잘 설명할 수 있는 어떤한 모델을 만들어 내는 것에 그 목적이 있다. 이러한 목적을 달성하기 위해서 무엇이 필요한 어떤 점이 어려울까? 데이터에 대한 Insight 를 가지고 데이터를 분석하고 모델링하기 위한 인력의 부족? 분석하기 위한 데이터가 수집되어 있지 않은 경우? 데이터에 레이블링을 사람이 해야하는 […]
인터넷에 많은 Machine Learning, Deep Learning 자료들이 존재하지만, SungKim 교수님의 모두의 딥러닝 강의를 듣고나면 그 다음 중급 단계가 없이 바로 고수들의 논문을 중심으로한 너무 어려운 이야기들만 난무하다보니 단계적으로 학습을 이어가기가 어려운 경우들이 있다고 생각합니다. 그래서 Tensorflow 기초부터 이미지, 정형, 자연어 데이터 그리고 ChatBot 을 통한 실무 적용까지 조금더 접근할 수 있는 중급 교육을 기획하여 SK […]
Deep Learning 관련하여 요즘 관심있게 보는 기술들.. 시간이 없어서 정리는 못하지만, 이렇게 기록해 놨다가 천천히 하나씩 블로그에 작성할 예정 .. 1 . Android Tensorflow Java 버전 Tensorflow를 완벽하지는 않지만 링크와 같이 지원하고 있는데 [링크] 역시 Android 에서 Tensorflow 도 지원한다 [링크] Python 과 비교하여 완벽한 기능을 제공하지는 못할 것으로 예상되지만, Java 개발자들이 워낙 많기 때문에 […]