연세대 인공지능학회 YAI

End-to-End Incremental Learning GitHub - fmcp/EndToEndIncrementalLearning: End-to-End Incremental Learning *YAI 9기 조용기님이 Continual Learning 팀에서 작성한 글입니다. 1 Introduction 실제 응용 프로그램을 대상으로 하는 시각적 인식 시스템을 개발할 때 주요 과제 중 하나는 새로운 클래스가 계속해서 학습되는, 즉 분류기를 점진적으로 학습하는 것이다. 예를 들어, 얼굴 인식 시스템은 새로운 사람을 식별하기 위하여 새로운 얼굴을 학습해야 하며, 이러한 task는 이미 학습한 얼굴들을 재학습시킬 필요 없이 해결되어야 한다. 이는 대부분의 사람들에게 사소하지만 (매일 새로운 얼굴들을 인식하므로),..

Going Deeper with Convolutions YAI 9기 김석님이 비전논문기초팀에서 작성한 글입니다. 0. Abstract 목적 → Network 내에서 compute가 진행될 시 소모되는 자원의 효율성을 높이기 위함 Method Compute 할 양을 늘어나지 않는 상태에서 depth와 width를 늘릴 수 있는 디자인 (codenamed Inception) Optimization 방법 → Hebbian principle에 근거한 multi-scale processing 사용 GoogLeNet Proposal Classification과 detection 목적으로 설계된 22 layer deep network 1. Backgrounds Object detection에서 사용한 방법 → Mod..

Docker Basics / Images & Containers / Managing Images & Containers *YAI 8기 김상현님이 MLOps팀에서 작성한 글입니다. Docker Basics What is Docker? Docker Docker는 컨테이너(container)를 만들고 이를 관리하는 기술입니다. 이때, 컨테이너란 표준화된 소프트웨어의 단위(a standardized unit of software)를 의미합니다. 예를 들어서 NodeJS 어플리케이션 컨테이너라면 어플리케이션 코드뿐만 아니라 의존성(dependencies)을 포함합니다. 컨테이너는 모두 동일하기 때문에, 같은 행동(behavior)을 할 것이라고 기대할 수 있습니다. Container 컨테이너는 규격화된 모양을 갖..

What is continual learning? * YAI 9기 조현우 님이 작성한 글입니다. Introduction 사람과 다르게 인공지능은 순차적으로 들어오는 데이터를 전부 기억하지 못합니다. 동물을 분류하는 인공지능 모델을 예로 들어보겠습니다. Day 1에는 개의 이미지만 있어서, 이것으로만 학습을 하면 모델은 개를 인식하고 분류할 수 있게 됩니다. 그 다음에 Day 2에 고양이 이미지가 새로 들어와서, 이것으로 새로 학습을 시키면 모델은 고양이를 분류할 수 있게 됩니다. 하지만 고양이로만 학습을 시킨다면 이전에 학습했던 개에 대한 정보는 전부 잃어버리게 될 것입니다. 이처럼 인공지능 모델이 새로운 데이터를 학습할때 기존의 데이터에 대한 정보를 잃어버리는 현상을 Catastrophic forget..

Variational AutoEncoder(VAE) YAI 9기 박준영님이 창의자율과제 Multimodal팀에서 작성한 글입니다. Deep generative learning 딥러닝을 배제하고 무언가를 생성하는 모델을 생각해보자. 그 무언가에 해당하는 modality는 시각적인 정보가 될 수도 있고, 사람이나 다양한 사물, 동물의 소리를 모사한 형태의 음성 정보가 될 수도 있으며 혹은 획기적인 디자인이나 심금을 울리는 글 형태가 될 수도 있다. 인간은 생물학적인 발전을 거치면서 자연스럽게 무언가를 ‘인식’하거나 ‘분류’하는 능력을 가지게 된다. 이는 assimilation과 accomodation을 거치며 내적으로 여러 가지 자극들에 대해 범주화가 자동으로 진행되기 때문이다. 이처럼 인간은 classif..

Zero-Shot Learning Through Cross-Modal Transfer Socher, Richard, et al. "Zero-shot learning through cross-modal transfer." Advances in neural information processing systems 26 (2013). * YAI 9기 박준영님이 Multimodal팀에서 작성한 글입니다. 논문 소개 Multimodal 연구에 있어 zero-shot learning에 대한 가능성을 연구한 논문이다. 사실상 성능이 그리 뛰어나지도 않고 zero-shot이 가능한 class에 대해서도 제약조건이 걸리지만, 단순히 image feature를 word vector, language manifold로 옮겨,..

RoBERTa: A Robustly Optimized BERT Pretraining Approach * YAI 9기 진현빈님이 창의자율과제 NLP팀에서 작성한 글입니다 https://arxiv.org/abs/1907.11692 RoBERTa: A Robustly Optimized BERT Pretraining Approach Language model pretraining has led to significant performance gains but careful comparison between different approaches is challenging. Training is computationally expensive, often done on private datasets of differ..

Transformer * YAI 9기 윤수진님이 창의자율과제 NLP팀에서 작성한 글입니다. 논문 소개 Attention Is All You Need Transformer, 고려대학교 산업경영공학과 일반대학원 Unstructured Data Analysis, Youtube The Illustrated Transformer, Jay Alammar, Github Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models a..