Super Learner: a Cross-validation based Stacking (Paper)

1. 개요

Ensemble 은 전통적인 ML 방식과 DL 모두에서 애용되는 방법으로 보통은 ‘평균’, ‘다수결’, ‘Stacked’ 정도는 많이들 알고 사용하고 있는데 Super Learner 라는 개념을 소개하고자 함

2. Unweighted Average

신경망에서 일반적으로 많이 사용하는 방법으로 기본적으로 Deep Neural Network 가 Capacity 가 크기 때문에 간단한 평균 방법의 Ensemble 로도 많은 성능 향상이 가능하다. 만약에 서로간의 Correlation 이 충분히 적은 모델들을 Average 방법으로 Ensemble 한다면 매우 많은 Variance 의 감소 효과를 기대할 수 있다.

P (i,j) 는 i 번째 모델의 j 번째 Class(Label) 의 확률 값으로 해석할 수 있으며, 평균을 취하고 Softmax를 하는 방법과 Softmax를 취하고 평균을 취하는 방법이 있을 수가 있는데 일반적으로는 모델간의 신호세기의 불균형등을 고려하였을때 후자가 더 합리적이라고 판단하며, 이러한 방법을 Unweighted Average 라고 표현함
※ 수식의 마지막은 Softmax 를 전개한 것 임

3. Majority Voting

Unweighted Average 와 유사하지만 각 유닛(모델)별로 가장 확률이 높은 값만 사용하여 가장 Count 가 높은 Class(Label) 을 선택하는 방식이다.  Unweighted Average 와 비교하여 덜 예민하다는 장점은 가지고 있지만, 유사한 다수의 유닛(모델)에 의존적이 될 수 있다는 단점과, 정보의 손실이라는 단점은 명확하다

4. Bayes Optimal Classifier

Unweighted Average 와 유사하지만 각 유닛(모델)별로 가장 확률이 높은 값만 사용하여