728x90
AI
-
[AI] Week3 학습 정리AI 2023. 3. 23. 17:59
RNNRNN은 Short-Term dependency를 잘 잡지만, Long-Term dependency는 잘 못잡는다.→해결하기 위해 LSTM 나옴LSTM은 Gate 3개 사용 → Parameter 많이 필요→ Parameter 줄이기 위해 Gate하나 없앤 Gated Recurrent Unit 나옴AttentionAttention이란?Decoder에서 출력 단어를 예측하는 시점마다 Encoder에서의 전체 입력 문장을 다시 한 번 참고하는 것 Self-Attention이란?단어 간의 관계성 연산 결과를 활용하여 연관성이 높은 단어끼리 연결해주기 위해 활용하는 것 Attention 과 Self-Attention 의 차이Attention과 Transformer의 Self-Attention는 비슷하지만 차..