RNN

입력 sequence의 길이가 매우 긴 경우, 처음에 나온 token에 대한 정보가 희석

고정된 context vector 사이즈로 인해 긴 sequence 에 대한 정보를 함축하기 어려움

모든 token이 영향을 미치니, 중요하지 않은 token도 영향을 줌

⇒ Attention의 탄생