Attention

인간이 정보처리를 할 때, 모든 sequence를 고려하면서 정보처리를 하는 것이 아님

인간의 정보처리와 마찬가지로, 중요한 feature는 더욱 중요하게 고려하는 것이 Attention의 모티브

기존 Seq2Seq에서는 RNN의 최종 output인 Context vector만을 활용

Attention에서는 인코더 RNN셀의 각각 output을 활용

Decoder에서는 매 step마다 RNN 셀의 output을 이용해 dynamic하게 Context vector를 생성