연세대 인공지능학회 YAI

** YAI 10기 김성준님이 기초심화팀에서 작성한 글입니다. 1. Lecture 11: Training Neural Networks II Learning Rate Schedules Learning rate 를 너무 큰 값으로 설정하면 밖으로 튀어나가 버리고(explosion), 너무 작은 값으로 설정하면 학습 속도가 매우 느려지므로 적절한 값으로 설정하는 것이 중요하다. 하지만 이게 쉽지는 않은데... 이를 해결하기 위해 learning rate 를 특정 epoch 마다 규칙 적으로 감소시키는 방법이 있다. 위의 사진으로부터 learning rate 가 감소하는 지점마다 loss 도 계단 모양으로 감소함을 확인할 수 있다. 하지만 이 방식은 learning rate 를 얼마마다 감소시켜야 하는지 등을 ..