자습용으로 공부하기 위해 정리한 자료 입니다. 출처는 맨 밑에 있습니다. 1. Learning Problem in DNN Internal Covariate Shift – 뉴럴네트워크는 히든레이어가 많아서 학습이 힘듬 – Deep Learning은 히든 레이어가 더 많아서 학습이 더 힘듬. 이게 왜 힘드냐면 웨이트의 조금만 변화가 쌓이다 보면은 높은 레이어로 갈수록 변화가 더 커지기 때문이다. 결국 히든 레이어의 값이 변동이 […]
자습용으로 공부하기 위해 정리한 자료 입니다. 출처는 맨 밑에 있습니다. 1. Learning Problem in DNN Internal Covariate Shift – 뉴럴네트워크는 히든레이어가 많아서 학습이 힘듬 – Deep Learning은 히든 레이어가 더 많아서 학습이 더 힘듬. 이게 왜 힘드냐면 웨이트의 조금만 변화가 쌓이다 보면은 높은 레이어로 갈수록 변화가 더 커지기 때문이다. 결국 히든 레이어의 값이 변동이 […]