연세대 인공지능학회 YAI

CS224N Lecture 15~18 * 10기 김준완님이 자연어 강의 팀에서 작성하신 리뷰입니다. Language Model Language Model은 Masked LM과, Standard LM 두가지로 나눌 수 있는데, 전자는 BERT류의 Deonising Auto Encoding이고, 후자는 기존의 조건부 확률 기반으로 다음에 올 단어를 예측하는 Auto Regressive 한 모델이다. 이런 예측된 값들은 make sense하지만 항상 factually correct하진 않다. 그 이유는 unseen facts, rare facts, model sensitivity때문이라고 할 수 있다. 여기서 sensitivity는 문맥상 같은의미의 문장이라도 모델은 사용된 단어가 다르면 다른 문장으로 인식할..