Day: June 20, 2017

deep learning cluster with aws -1-

Deep Learning Cluster를 구성하기 AWS GPU는 비싸다. 평소에는 CPU로 훈련하다가, GPU 자원을 활용하고 싶을때 어떻게 하면 좋을까?  GPU 인스턴스가 올라오면 자동으로 클러스터에 포함되고, 명령을 내리면 GPU에서 훈련하고,  훈련이 끝나면 모델은 공유디스크에 저장되고, GPU를 반납한다. Predict는 싼 CPU 인스턴스에서 하고, 필요할때만 GPU인스턴스를 사용하면 비용도 절감되고, 일석 이조이다. 개요는 디스크를 nfs로 공유하고(NAS나 Storage를 쓰면 좋겠지만 돈 없음), […]

Read more

Deep Learning Cluster with AWS for CPU

  한국 지역 설정하기 sudo locale-gen ko_KR.UTF-8 tzselect sudo apt-get install language-pack-ko   docker CE올리기 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add – sudo apt-key fingerprint 0EBFCD88 sudo add-apt-repository \ “deb [arch=amd64] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) \ stable” sudo apt-get update sudo apt-get install docker-ce 도커를 ubuntu계정에서 실행하게 변경(리붓해야지 반영됨) sudo groupadd docker sudo gpasswd […]

Read more