연세대 인공지능학회 YAI

어텐션 (Attention) ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. 1. Introduction 앞선 글에서 설명드렸던 Seq2Seq의 경우 하나의 hidden state가 모든 source text의 정보를 포함하고 있습니다. 이 때문에 sentimental analysis와 같은 단순한 태스크에서는 성능이 괜찮지만, translation과 같은 복잡한 태스크에서는 information bottleneck이 발생할 수 있습니다. 이 문제를 해결하기 위해 attention 모델이 제안되었습니다. Attention은 decoder의 각 step에서 encoder와 direct connection을 활용하여 source sentence의 특정 부분에 집중합니다. 사람이 실제로 번역을 ..

FPN + RetinaNet (Focal Loss) - (2) ** YAI 9기 조용기님이 비전 논문 심화팀에서 작성한 논문입니다. RetinaNet (Focal Loss) Papers with Code - RetinaNet Explained 1. Introduction 2020년 전까지의 object detecton milestones. 출처 : Murthy, C.B et al., Investigations of Object Detection in Images/Videos Using Various Deep Learning Techniques and Embedded Platforms—A Comprehensive Review. Applied Sciences. 2020. 당시의 SOTA object dete..

FPN + RetinaNet (Focal Loss) - (1) **YAI 9기 조용기님이 비전 논문 심화팀에서 작성한 글입니다. FPN Papers with Code - FPN Explained 1. Introduction Figure 1. (a) Using an image pyramid to build a feature pyramid. Features are computed on each of the image scales independently, which is slow. (b) Recent detection systems have opted to use only single scale features for faster detection. (c) An alternative is to reuse t..

R-CNN + Fast R-CNN + Faster R-CNN (3) ** YAI 9기 조용기님이 비전 논문심화팀에서 작성한 글입니다. Faster R-CNN Papers with Code - Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 1 Introduction 이 논문이 쓰인 시점에 탐지 신경망 시스템에 존재하는 병목은 region proposal이었다. Selective Search는 CPU에서 연산되어, Fast R-CNN의 탐지 신경망에 비해 매우 느리다. EdgeBoxes는 proposal의 품질과 속도 사이 최상의 균형을 이루었지만 여전히 탐지 신경망만큼의 실행 시간을 필요로 한다. CNN이 GPU..

기계 번역 (Machine Translation) ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. 1. Introduction Machine translation은 어떤 한 언어의 $x$라는 문장을 또다른 언어의 $y$라는 문장으로 번역하는 태스크를 의미합니다. 이때, $x$의 언어를 source language라고 하고, $y$의 언어를 target language라고 부릅니다. 과거에는 rule-based와 dictionary lookup table 등의 방식을 이용했지만, 문법(grammar)이나 의미론(semantic) 등의 이유로 인해서 정보를 잘 전달하지 못했다는 한계가 존재합니다. 이러한 기계 번역의 역사를 살펴보면 아래와 같습니다. 2. Statistical MT (SMT) ..

R-CNN + Fast R-CNN + Faster R-CNN ** YAI 9기 조용기님이 비전 논문심화팀에서 작성한 글입니다. Fast R-CNN Papers with Code - Fast R-CNN Explained 1. Introduction 이미지 분류 및 객체 탐지에서 Deep ConvNet의 활약으로 정확성은 올라갔으나, 복잡도 또한 증가해 모델의 처리 속도가 매우 느려졌다. 이러한 복잡성은 탐지 작업이 객체의 정확한 localization을 요구하기에 발생했고, 이는 두 가지 주요한 문제를 만들었다. 수많은 후보 객체의 proposal이 각각 CNN에서 처리되어야 한다. 이러한 후보들은 대략적인 localization만을 제공 하며 정확한 localization을 위해 개선을 필요로 한다. 이..

R-CNN + Fast R-CNN + Faster R-CNN ** YAI 9기 조용기님이 비전 논문심화팀에서 작성한 글입니다. R-CNN Papers with Code - R-CNN Explained 1. Introduction 다양한 시각적 인식 작업에서 SIFT와 HOG가 많이 사용되었지만, 최근 2010 ~ 2012년 사이 큰 발전이 없었다. SIFT와 HOG보다 시각적 인식에 더 유능한 feature를 계산하는 hierarchical, multi-scale process가 존재하는데, 역전파와 확률적 경사하강법(SGD)을 사용한 LeCun et al.의 convolution neural network(CNN)가 그렇다. CNN은 1990년대에 활발하게 사용되다 support vector machi..

Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding 본 논문은 NeurIPS 2018에 발표되었으며, spotlight을 받았습니다. 본 포스팅은 YAI 기민주, 전원석님의 보고서를 바탕으로 작성되었습니다. 참고자료 논문 저자들의 발표 영상 본 논문은 아래 그림과 같이 주어진 이미지를 인식해 질문에 적절한 답을 내놓아야 하는 Visual Question-Answering (VQA) 문제에 관해 다루고 있다. 이러한 태스크는 단순한 이미지 인식 (perception)을 넘어 추론 (reasoning)을 필요로 한다. 본 논문은 기존의 뉴럴넷 기반의 End-to-End 방식의 접근법들이 가지고 있는 한계점을 극..