How to pick the best learning rate for your machine learning project

[관련 원문 링크] How to pick the best learning rate for your machine learning project

딥러닝 네트워크를 학습시키다 보면,

항상 어려운 것 가운데 하나가 Learning rate를 얼마로 할지....

그리고 optimizer로 어떤 것을 사용해야 할지가 아닐까.

원문의 링크에 위와 관련된 거의 모든 실험이 정리되어 있다.

동일한 모델에 동일한 Random seed를 사용해서 MNIST 모델을 500번 학습을 반복하며 필요한 실험들을 수행한 결과를 보여준다.