연세대 인공지능학회 YAI

DNN 기초 ** YAI 10기 황채연님이 기초 심화 2팀에서 작성한 글입니다. Introduction 지난 세선에서는 선형 분류기로 이미지를 분류하는 개념까지 다뤄보았다. 이미지가 가장 잘 분류되도록 기울기를 계속 갱신한다는 개념이었다. 그렇다면, 구체적으로 기울기 갱신은 어떻게 이루어지는가? Loss fuction Loss function은 손실을 정량적으로 알려주는 함수로, 어떤 기울기가 최선인지 결정하기 위해 loss를 컴퓨터가 자동 정량화하도록 고안된 함수이다. 인간은 좌측 그림과 loss 수치를 보고서 자동차, 고양이, 개구리 순으로 정확하게 분류되었다는 것을 파악할 수 있다. 이 판단 작업을 컴퓨터가 수행하기 위해 우측과 같은 식을 입력한다. 자세히 뜯어보면, N개의 x(이미지 픽셀 값)과 ..

Training Neural Networks II, Deep Learning Software * YAI 9기 박찬혁 님이 심화 팀에서 작성한 글입니다. Lecture 7 : Training Neural Networks II Optimization SGD 6강에서 배치단위로 Gradient Descent를 진행하는 SGD라는 Optimizer를 소개했다. SGD의 식은 아래와 같다. $$ x_{t+1}=x_t-\alpha\nabla f(x_t) $$ 하지만 SGD에는 단점이 있는데 아래 그림처럼 현재 지점에서의 기울기만 보고 지그재그로 찾아간다는 점이다. 이렇게 진행을 하게되면 바로 최적점을 찾아가는 것 보다 훨씬 느리게 학습이 진행된다. 또한 이렇게 현재 지점에서의 기울기만 보고 이동지점을 판단한다면 L..