RNN
RNN의 구조적 문제점
- 입력 sequence의 길이가 매우 긴 경우, 처음에 나온 token에 대한 정보가 희석
- 고정된 context vector 사이즈로 인해 긴 sequence 에 대한 정보를 함축하기 어려움
- 모든 token이 영향을 미치니, 중요하지 않은 token도 영향을 줌
- ⇒ Attention의 탄생
- open/rnn.txt
- Last modified: 2024/10/05 06:15
- by 127.0.0.1
open:rnn
open:rnn