연세대 인공지능학회 YAI

CS231N, Spring 2017 : Lecture 15,16 https://www.youtube.com/playlist?list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com *YAI 11기 김남훈님께서 "기초심화" 팀에서 작성하신 글입니다. Lecture 15 : Efficient Methods and Hardware for Deep Learning 현재의 AI가 직접적으로 실생활에 응용되려면 다음과 같은 ..

CS224N, Winter 2023 : Lecture 9, 10 https://web.stanford.edu/class/cs224n/index.html Stanford CS 224N | Natural Language Processing with Deep Learning Natural language processing (NLP) is a crucial part of artificial intelligence (AI), modeling how people share information. In recent years, deep learning approaches have obtained very high performance on many NLP tasks. In this course, students g..

YAI 11기 조믿음님이 기초부원팀에서 작성한 글입니다 Study Material PyTorchZeroToAll Lecture 1 ~ 11 모두를 위한 딥러닝 시즌 2 Lab 1 ~ 6 Index What is Machine Learning? Linear Model Linear Regression Gradient Descent Back Propagation Chain Rule Review Logistic Regression Binary Prediction Sigmoid Function Binary Cross Entropy Loss Softmax Classifier Softmax Function PyTorch Basics Discussion What is Machine Learning/Deep Learni..

YAI 10기 김강현님이 자연어강의팀에서 작성한 글입니다 1. Language Modeling Language modeling이란, 다음 단어로 어떤 단어가 오는지 예측하는 task이다. 그리고 이러한 task를 수행하는 system을 가지고, Language Model이라고 한다. 2. N-gram Language Model 이 방법은, 딥러닝을 도입하기 전에 Language model을 학습시키기 위해 사용했던 방법이다. N-gram이란, N개의 연속된 단어이다. 다음에 어떤 단어가 올 확률을 구하기 위해, 우선 Markov Assumption을 한다: 이는, 다음 단어는 직전 N-1개의 단어에만 영향을 받는다는 의미이다. 즉, 그보다 더 이전 단어에는 영향을 받지 않는다는 의미이다. 만약 4-gra..

CS224N Lecture 15~18 * 10기 김준완님이 자연어 강의 팀에서 작성하신 리뷰입니다. Language Model Language Model은 Masked LM과, Standard LM 두가지로 나눌 수 있는데, 전자는 BERT류의 Deonising Auto Encoding이고, 후자는 기존의 조건부 확률 기반으로 다음에 올 단어를 예측하는 Auto Regressive 한 모델이다. 이런 예측된 값들은 make sense하지만 항상 factually correct하진 않다. 그 이유는 unseen facts, rare facts, model sensitivity때문이라고 할 수 있다. 여기서 sensitivity는 문맥상 같은의미의 문장이라도 모델은 사용된 단어가 다르면 다른 문장으로 인식할..

DNN 기초 ** YAI 10기 황채연님이 기초 심화 2팀에서 작성한 글입니다. Introduction 지난 세선에서는 선형 분류기로 이미지를 분류하는 개념까지 다뤄보았다. 이미지가 가장 잘 분류되도록 기울기를 계속 갱신한다는 개념이었다. 그렇다면, 구체적으로 기울기 갱신은 어떻게 이루어지는가? Loss fuction Loss function은 손실을 정량적으로 알려주는 함수로, 어떤 기울기가 최선인지 결정하기 위해 loss를 컴퓨터가 자동 정량화하도록 고안된 함수이다. 인간은 좌측 그림과 loss 수치를 보고서 자동차, 고양이, 개구리 순으로 정확하게 분류되었다는 것을 파악할 수 있다. 이 판단 작업을 컴퓨터가 수행하기 위해 우측과 같은 식을 입력한다. 자세히 뜯어보면, N개의 x(이미지 픽셀 값)과 ..

** YAI 10기 김성준님이 기초심화팀에서 작성한 글입니다. 1. Lecture 11: Training Neural Networks II Learning Rate Schedules Learning rate 를 너무 큰 값으로 설정하면 밖으로 튀어나가 버리고(explosion), 너무 작은 값으로 설정하면 학습 속도가 매우 느려지므로 적절한 값으로 설정하는 것이 중요하다. 하지만 이게 쉽지는 않은데... 이를 해결하기 위해 learning rate 를 특정 epoch 마다 규칙 적으로 감소시키는 방법이 있다. 위의 사진으로부터 learning rate 가 감소하는 지점마다 loss 도 계단 모양으로 감소함을 확인할 수 있다. 하지만 이 방식은 learning rate 를 얼마마다 감소시켜야 하는지 등을 ..

[Perception 강의 리뷰] 1주차: The Background (2) * YAI 9기 김동하, 박준영님이 Perception 강의팀에서 작성한 글입니다. 2. Visual Stimuli 2-1. Visual Stimuli 위와 같은 전자기파의 스펙트럼 중에서, 인간은 380-750 nm의 wavelength에 해당하는 가시광선(light) 만을 인식할 수 있도록 진화해왔다. 다른 스펙트럼의 전자기파는 볼 수 없는 대신 측정으로 존재를 알 수 있다. 사실, 다른 동물들도 볼 수 있는 영역은 동물마다 차이가 있겠지만 대부분 이 영역과 비등비등하다. 이는 다음과 같은 이유가 있겠다. Ultra Violet 영역 이전 자외선 및 그보다 frequency가 높은 electromagnetic wave는 에너..