# 딥러닝 기반 자연어 언어모델 BERT

자연어 언어모델 BERT 1강 - 자연어 처리 (NLP)

https://www.youtube.com/watch?v=qlxrXX5uBoU


## 목차

- 자연어 처리 (Natural Language Processing, [[NLP]])
  - 자연어란?
  - 다양한 자연어 처리
  - [[Word Embedding]]

- 언어 모델 (Language Model, [[LM]])
  - [[Markov]] 확률 모델
  - [[RNN]] (Recurrent Neural Network) 모델
  - [[Attention]] 모델
  - [[Self-attention]] 모델
  - [[Transformer]] 모델

- [[BERT]] 소개
  - [[WordPiece tokenizing]]
  - BERT 모델
  - BERT의 적용 실험

- 한국어 BERT
  - [[ETRI]] [[KorBERT]]