연세대 인공지능학회 YAI

CS224N Lecture 15~18 * 10기 김준완님이 자연어 강의 팀에서 작성하신 리뷰입니다. Language Model Language Model은 Masked LM과, Standard LM 두가지로 나눌 수 있는데, 전자는 BERT류의 Deonising Auto Encoding이고, 후자는 기존의 조건부 확률 기반으로 다음에 올 단어를 예측하는 Auto Regressive 한 모델이다. 이런 예측된 값들은 make sense하지만 항상 factually correct하진 않다. 그 이유는 unseen facts, rare facts, model sensitivity때문이라고 할 수 있다. 여기서 sensitivity는 문맥상 같은의미의 문장이라도 모델은 사용된 단어가 다르면 다른 문장으로 인식할..

YAI 9기 김석님이 비전논문팀에서 작성한 글입니다. Focal Self-attention for Local-Global Interactions in Vision Transformers 0. Abstract 목적 Self attention을 통한 짧은 것에서부터 긴 단위까지 visual dependency를 모두 capture할 수 있도록 설계하면서도 quadratic computational overhead로 인한 resolution이 높은 task에 관해서 어려운 상황도 극복할 수 있어야 함 Method SoTA model의 경우 coarse-grain이나 fine-grained local attention을 적용하여 computational & memory cost와 성능을 개선하는 방식을 채택함 ..

Diffusion Models Beat GANs on Image Synthesis ** YAI 9기 최성범님께서 DIffusion팀에서 작성한 글입니다. Abstract Generation model중 diffusion models이 SOTA를 달성 이를 위해 better architecture와 classifier guidance를 사용함 Classifier guidance는 classifier의 gradients를 사용하고, generated image의 diversity와 fidelity의 trade off 관계가 있음 1. Introduction GAN은 최근 FID, Inception Score, Precision metric으로 측정한 image generation task에서 SOTA를 달성..

YAI 9기 이상민님이 강화학습 논문구현팀에서 작성한 글입니다 Asynchronous Methods for Deep Reinforcement Learning Asynchronous Methods for Deep Reinforcement Learning 🌎YAI 9기 이상민 논문소개 Asynchronous Methods for Deep Reinforcement Learning Simple and lightweight Deep Reinforcement Learning framework multi core CPU instead of GPU. Asynchronous gradient descent Parallel A3C Introduction Deep nueral networks가 Reinforcement Lea..

DNN 기초 ** YAI 10기 황채연님이 기초 심화 2팀에서 작성한 글입니다. Introduction 지난 세선에서는 선형 분류기로 이미지를 분류하는 개념까지 다뤄보았다. 이미지가 가장 잘 분류되도록 기울기를 계속 갱신한다는 개념이었다. 그렇다면, 구체적으로 기울기 갱신은 어떻게 이루어지는가? Loss fuction Loss function은 손실을 정량적으로 알려주는 함수로, 어떤 기울기가 최선인지 결정하기 위해 loss를 컴퓨터가 자동 정량화하도록 고안된 함수이다. 인간은 좌측 그림과 loss 수치를 보고서 자동차, 고양이, 개구리 순으로 정확하게 분류되었다는 것을 파악할 수 있다. 이 판단 작업을 컴퓨터가 수행하기 위해 우측과 같은 식을 입력한다. 자세히 뜯어보면, N개의 x(이미지 픽셀 값)과 ..

Instant Neural Graphics Primitives with Multiresolution Hash Encoding https://arxiv.org/abs/2201.05989 Instant Neural Graphics Primitives with a Multiresolution Hash Encoding Neural graphics primitives, parameterized by fully connected neural networks, can be costly to train and evaluate. We reduce this cost with a versatile new input encoding that permits the use of a smaller network without sa..

Conv-TasNet: Surpassing Ideal Time-Frequency magnitude Masking for Speech Separation https://arxiv.org/abs/1809.07454 Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The ma..

** YAI 10기 김성준님이 기초심화팀에서 작성한 글입니다. 1. Lecture 11: Training Neural Networks II Learning Rate Schedules Learning rate 를 너무 큰 값으로 설정하면 밖으로 튀어나가 버리고(explosion), 너무 작은 값으로 설정하면 학습 속도가 매우 느려지므로 적절한 값으로 설정하는 것이 중요하다. 하지만 이게 쉽지는 않은데... 이를 해결하기 위해 learning rate 를 특정 epoch 마다 규칙 적으로 감소시키는 방법이 있다. 위의 사진으로부터 learning rate 가 감소하는 지점마다 loss 도 계단 모양으로 감소함을 확인할 수 있다. 하지만 이 방식은 learning rate 를 얼마마다 감소시켜야 하는지 등을 ..