Very Deep Convolutional Networks for Text Classification (Paper)

1. 개요

지금까지 몇 가지 주요 Text 분류 알고리즘들을 살펴 보았다. 현재까지 추이를 보면 처음 보았던 내용이 Text 분류에 Word Embedding 기법과 Convolution 기법을 적용한 것이였으며, 두 번째로 보았던 것이 형태소 분석후 Word Embedding 을 하는 것이 아닌 Char Level 의 Embedding 을 사용하고 Colvolution 의 Depth 를 조금더 깊게 (6개 Layer) 로 가지고 가는 것이였으며, 지금 보는 것은 그 Depth 를 (29 까지 ) 더 깊게 가지고 가는 것으로 이 논문에서는 “Our models are much deeper than previously published convolutional neural networks and they outperform those approaches on all data sets. To the best of our knowledge, this is the firsttime that the “benefit of depths” was shown for convolutional neural networks in NLP. ” 라는 식으로 깊으면 좋아라고 말하고 있다. 

위의 표를 보면 9개의 대규모 데이터 셋에 대해서 pooling 방식과 Layer 의 Depth 를 바꿔가면서 테스트를 한 결과인데, 결과를 보면 pooling은 MaxPooling 이 좋고, 깊이는 깊을 수록 좋다라는 두 가지 결론을 이야기 하고 있다.

2. 접근 방법

일반적으로 Convolution Layer 가 깊어지면, Vanishing Problem 이 발생하기 마련이고, 이를 회피하기 위한 다양한 기법들이 이미지 연구 분야에서 연구 되었다. 데이터의 Type 만 다르다 뿐이지 이러한 기법들을 Text 를 CNN 으로 모델링하는데 사용하지 못할 이유는 없으며, 이 논문에서도 Residual 의 핵심 아이디어인 Short Cut 을 활하는 아키택쳐를 구성하여 29 Depth 의 Conv 레이어를 구성하였다.

3. 결론

결론은 “The Deeper The Better !”