– 논문 링크 : Link  (Collaborative hyperparameter tuning <2013>)
 – 적용 구현 : Link

1.Hyper Parameter Tunning 
HyperParameter Tunning 은 ML 에서 매우 중요한 Step이다. (Pintoet al. 2009, Coates et al. 2011, Bergstra et al. 2011,Snoek et al. 2012, Thornton et al. 2012)
논문에 따르면 새로운 알고리즘 없이 기존의 존재하는 알고리즘의 hyper parameter를 조정하는 것만으로도 성능향상을 가지고 왔다는 연구 결과도 있다.
이러한 Hyper Parameter 의 조정은 보통 사람이 수동으로 수행하고는 하는데, 이러한 과정들을 자동화 할 수 있는 방법들은 많이 연구 되어 왔고 이미 실제 적용이 가능한데 대표적인 방법으로 아래와 같은 것들이 있을 수 있겠다.
–  local-search based methods (ParamILS of Hutter et al. 2009)
– estimation of distribution methods (REVAC of Nannen & Eiben 2007)
– surrogate-based methods (Hutter, 2009)
– surrogate method deep neural network 에 적용 Bergstra et al. (2011)
– WEKA Package 적용 , Thornton et al. (2012)
이러한 자동화된 Hyper Parameter 튜닝 방법이 존재함에도 경험 많은 Engineer 들은 여전히 그들만의 방법으로 튜닝을 진행하는데, 예를 들면 성공적으로 MNIST 데이터를 튜닝한 Hyper Parameter set 을 보유하고 있을때, 약간 변형된 MNIST 에 기존에 성공적으로 MNIST 모델을 생성했던 Hyper Parameter 에서 Insight 를 얻어서 새로운 변형된 MNIST 데이터에 적용을 시작하는 등 방법이 있을 수 있겠다.
이 논문에서 제안하는 바는 surrogate 방법과 사람이 기존의 데이터에 대해 가지고 있는 Hyperparameter 에 대한 Insight 를 적용하는 것을 융합하는 방법이다.