연세대 인공지능학회 YAI

Zero-Shot Learning Through Cross-Modal Transfer Socher, Richard, et al. "Zero-shot learning through cross-modal transfer." Advances in neural information processing systems 26 (2013). * YAI 9기 박준영님이 Multimodal팀에서 작성한 글입니다. 논문 소개 Multimodal 연구에 있어 zero-shot learning에 대한 가능성을 연구한 논문이다. 사실상 성능이 그리 뛰어나지도 않고 zero-shot이 가능한 class에 대해서도 제약조건이 걸리지만, 단순히 image feature를 word vector, language manifold로 옮겨,..

RoBERTa: A Robustly Optimized BERT Pretraining Approach * YAI 9기 진현빈님이 창의자율과제 NLP팀에서 작성한 글입니다 https://arxiv.org/abs/1907.11692 RoBERTa: A Robustly Optimized BERT Pretraining Approach Language model pretraining has led to significant performance gains but careful comparison between different approaches is challenging. Training is computationally expensive, often done on private datasets of differ..

Transformer * YAI 9기 윤수진님이 창의자율과제 NLP팀에서 작성한 글입니다. 논문 소개 Attention Is All You Need Transformer, 고려대학교 산업경영공학과 일반대학원 Unstructured Data Analysis, Youtube The Illustrated Transformer, Jay Alammar, Github Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models a..

[Perception 강의 리뷰] 1주차: The Background (2) * YAI 9기 김동하, 박준영님이 Perception 강의팀에서 작성한 글입니다. 2. Visual Stimuli 2-1. Visual Stimuli 위와 같은 전자기파의 스펙트럼 중에서, 인간은 380-750 nm의 wavelength에 해당하는 가시광선(light) 만을 인식할 수 있도록 진화해왔다. 다른 스펙트럼의 전자기파는 볼 수 없는 대신 측정으로 존재를 알 수 있다. 사실, 다른 동물들도 볼 수 있는 영역은 동물마다 차이가 있겠지만 대부분 이 영역과 비등비등하다. 이는 다음과 같은 이유가 있겠다. Ultra Violet 영역 이전 자외선 및 그보다 frequency가 높은 electromagnetic wave는 에너..

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis **YAI 8기 김현진님이 비전 논문 심화팀에서 작성한 글입니다. European Conference on Computer Vision (ECCV), 2020 (Best Paper Honorable Mention) https://arxiv.org/pdf/2003.08934.pdf 3. Neural Radiance Field Scene Representation 이 논문에서는 연속적인 장면들을 5D 벡터 함수의 형태 (Radiance Field)로 나타낸다. Input은 위치 (x, y, z), 방향 (θ, ϕ) 이고, Radiance와 Radiance의 양을 조절하는 volume..

SiamRPN++ ** YAI 9기 조용기님이 비디오논문팀에서 작성한 글입니다. Paper: https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_SiamRPN_Evolution_of_Siamese_Visual_Tracking_With_Very_Deep_Networks_CVPR_2019_paper.pdf 1. Introduction Visual Object Tracking (VOT) 은 최근 수십 년 동안 점점 더 많은 관심을 받아왔으며 현재 매우 활발한 연구가 진행되고 있는 분야이다. Visual surveillanve, Human-Computer Interaction (HCI), 그리고 Augmented Reality (AR)과 같이 다양한 분야에서 ..

Singular Value Decomposition, Eckart-Young: The Closest Rank k Matrix to A * YAI 9기 송예원님이 선형대수 강의팀에서 MIT 18.065 by Gilbert Strang을 수강한 후 작성한 글입니다. Lecture 6 : Singular Value Decomposition (SVD) Introduciton 6강에서는 rectangular matrix의 factorization 중 하나인 Singular Value Decomposition에 대해 다룬다. 또한 SVD와 linear transformation의 기하학적 의미 및 polar decomposition과의 연관성에 대해 다룰 것이다. Preliminary singular value s..

Training Neural Networks II, Deep Learning Software * YAI 9기 박찬혁 님이 심화 팀에서 작성한 글입니다. Lecture 7 : Training Neural Networks II Optimization SGD 6강에서 배치단위로 Gradient Descent를 진행하는 SGD라는 Optimizer를 소개했다. SGD의 식은 아래와 같다. $$ x_{t+1}=x_t-\alpha\nabla f(x_t) $$ 하지만 SGD에는 단점이 있는데 아래 그림처럼 현재 지점에서의 기울기만 보고 지그재그로 찾아간다는 점이다. 이렇게 진행을 하게되면 바로 최적점을 찾아가는 것 보다 훨씬 느리게 학습이 진행된다. 또한 이렇게 현재 지점에서의 기울기만 보고 이동지점을 판단한다면 L..