teaching forcing1 [논문 리뷰] Attention Is All You Need Attention Is All You Need: 트랜스포머(Transformer)의 모든 것NLP(자연어 처리) 분야의 시작이라고 볼 수 있는 논문 리뷰를 시작하겠다.이 전의 대표적인 시계열 데이터를 처리하는 모델이었던 RNN의 단점을 해결한 Transformer를 소개하는 논문이다.시계열 : 시간의 흐름에 따라 일정한 간격으로 순서대로 나열된 데이터의 수열https://nlp.seas.harvard.edu/2018/04/03/attention.html (이 글에서 많은 도움을 받았다)RNN의 단점RNN은 시계열 데이터를 처리하기 때문에 병렬로 처리하지 못한다.RNN은 시간이 지날수록 오래된 시점의 token에 대한 정보가 점점 희미해져 간다.시계열 데이터는 등장 시점을 데이터로 취급하기 때문에, con.. 2025. 11. 22. 이전 1 다음
