연세대 인공지능학회 YAI

CS224N Lecture 15~18 * 10기 김준완님이 자연어 강의 팀에서 작성하신 리뷰입니다. Language Model Language Model은 Masked LM과, Standard LM 두가지로 나눌 수 있는데, 전자는 BERT류의 Deonising Auto Encoding이고, 후자는 기존의 조건부 확률 기반으로 다음에 올 단어를 예측하는 Auto Regressive 한 모델이다. 이런 예측된 값들은 make sense하지만 항상 factually correct하진 않다. 그 이유는 unseen facts, rare facts, model sensitivity때문이라고 할 수 있다. 여기서 sensitivity는 문맥상 같은의미의 문장이라도 모델은 사용된 단어가 다르면 다른 문장으로 인식할..

RoBERTa: A Robustly Optimized BERT Pretraining Approach * YAI 9기 진현빈님이 창의자율과제 NLP팀에서 작성한 글입니다 https://arxiv.org/abs/1907.11692 RoBERTa: A Robustly Optimized BERT Pretraining Approach Language model pretraining has led to significant performance gains but careful comparison between different approaches is challenging. Training is computationally expensive, often done on private datasets of differ..

Transformer * YAI 9기 윤수진님이 창의자율과제 NLP팀에서 작성한 글입니다. 논문 소개 Attention Is All You Need Transformer, 고려대학교 산업경영공학과 일반대학원 Unstructured Data Analysis, Youtube The Illustrated Transformer, Jay Alammar, Github Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models a..

Lecture-14: T5 and Large Language Models ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. T5 Ideas Which transfer learning methods work best, and what happens when we scale them up? → T5 What about non-English pre-trained models? → modify T5 for multilingual model How much knowledge does the model learn during pre-training? Does the model memorize data during pre-training? Which Transformer modifications work..

Subword Modeling & Pretraining ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. 1. Introduction 언어 모델링에서 중요한 부분 중 하나인 단어를 어떻게 표현할 것인가를 살펴보겠습니다. 만약 단어의 개수가 유한하다는 가정, 즉 finite vocabulary assumptions를 기반으로 할 경우에는 단어의 변환, 오타, 새로운 단어 등이 모두 unknown words로 동일하게 매핑되게 됩니다. 따라서 이러한 word structure 혹은 morphology를 다루는 방식이 필요하게 됩니다. 한편, 사전 학습된 대규모의 모델은 자연어 처리에 있어서 거의 표준이 되었고, 그 성능도 매우 뛰어납니다. 이러한 방법론에 대해서도 다뤄보겠습니다. 2. Subwo..

어텐션 (Attention) ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. 1. Introduction 앞선 글에서 설명드렸던 Seq2Seq의 경우 하나의 hidden state가 모든 source text의 정보를 포함하고 있습니다. 이 때문에 sentimental analysis와 같은 단순한 태스크에서는 성능이 괜찮지만, translation과 같은 복잡한 태스크에서는 information bottleneck이 발생할 수 있습니다. 이 문제를 해결하기 위해 attention 모델이 제안되었습니다. Attention은 decoder의 각 step에서 encoder와 direct connection을 활용하여 source sentence의 특정 부분에 집중합니다. 사람이 실제로 번역을 ..

기계 번역 (Machine Translation) ** YAI 9기 전은지님이 자연어강의팀에서 작성한 글입니다. 1. Introduction Machine translation은 어떤 한 언어의 $x$라는 문장을 또다른 언어의 $y$라는 문장으로 번역하는 태스크를 의미합니다. 이때, $x$의 언어를 source language라고 하고, $y$의 언어를 target language라고 부릅니다. 과거에는 rule-based와 dictionary lookup table 등의 방식을 이용했지만, 문법(grammar)이나 의미론(semantic) 등의 이유로 인해서 정보를 잘 전달하지 못했다는 한계가 존재합니다. 이러한 기계 번역의 역사를 살펴보면 아래와 같습니다. 2. Statistical MT (SMT) ..

분류: NLP 생성일: 2021년 7월 20일 오후 5:41 연도: 2018 저자: Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. 진행 상황: Modifying 키워드: Attention, Bidirectional, Transformer Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. Overall Summary BERT는 구글이 공개한 NLP 모델로, 언어 표현(language representati..