Show pageOld revisionsBacklinksBack to top This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong. # RNN ### RNN의 구조적 문제점 - 입력 sequence의 길이가 매우 긴 경우, 처음에 나온 token에 대한 정보가 희석 - 고정된 context vector 사이즈로 인해 긴 sequence 에 대한 정보를 함축하기 어려움 - 모든 token이 영향을 미치니, 중요하지 않은 token도 영향을 줌 - => [[Attention]]의 탄생 ### 출처 - [Awesome Recurrent Neural Networks](https://github.com/kjw0612/awesome-rnn) open/rnn.txt Last modified: 2024/10/05 06:15by 127.0.0.1