연세대 인공지능학회 YAI

Do Transformers Really Perform Badly for Graph Representation? Github: https://github.com/Microsoft/Graphormer Paper: https://openreview.net/forum?id=OeWooOxFwDa Abstract Graph representation learning에서 Transformer가 좋은 성능을 보이는가? Graphormer standard transformer architecture 많은 graph representation learning task에서 좋은 성능을 보임 especially on the recent OGB Large-Scale Challenge Key Insight graph를 모델링하..

YAI 9기 김석님이 비전논문팀에서 작성한 글입니다. Focal Self-attention for Local-Global Interactions in Vision Transformers 0. Abstract 목적 Self attention을 통한 짧은 것에서부터 긴 단위까지 visual dependency를 모두 capture할 수 있도록 설계하면서도 quadratic computational overhead로 인한 resolution이 높은 task에 관해서 어려운 상황도 극복할 수 있어야 함 Method SoTA model의 경우 coarse-grain이나 fine-grained local attention을 적용하여 computational & memory cost와 성능을 개선하는 방식을 채택함 ..

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ** YAI 9기 박찬혁님이 비전논문팀에서 작성한 글입니다. Introduction 현재 Transformer와 같은 Self-attention-based 구조들이 NLP에서 주된 방식이다. 이 방법들은 주로 큰 모델에서 사전학습을 진행 후에 작은 데이터셋으로 Fine tuning하여 사용하는 방식으로 쓰인다. 이 Transformer 방식을 이미지에 바로 적용시키는 것이 이 논문의 목적이다. 이미지를 patch라는 작은 단위로 나누어서 NLP의 token과 같은 방식으로 간단한 imbedding 후에 Transformer에 집어넣는다. 이 방식은 기존 CNN이 이미지에 ..

Transformer * YAI 9기 윤수진님이 창의자율과제 NLP팀에서 작성한 글입니다. 논문 소개 Attention Is All You Need Transformer, 고려대학교 산업경영공학과 일반대학원 Unstructured Data Analysis, Youtube The Illustrated Transformer, Jay Alammar, Github Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models a..

Vision Transformer(ViT) ** YAI 9기 조용기님이 비전논문심화팀에서 작성한 글입니다. 논문 소개 Papers with Code - Vision Transformer Explained Papers with Code - Vision Transformer Explained The Vision Transformer, or ViT, is a model for image classification that employs a Transformer-like architecture over patches of the image. An image is split into fixed-size patches, each of them are then linearly embedded, position emb..

분류: NLP 생성일: 2021년 7월 20일 오후 5:41 연도: 2018 저자: Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. 진행 상황: Modifying 키워드: Attention, Bidirectional, Transformer Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. Overall Summary BERT는 구글이 공개한 NLP 모델로, 언어 표현(language representati..