attention3 [세미나 발표] Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow Ch.16 Natural Language Processing with RNNs and Attention [딥러닝] NLP — Char-RNN, 감성 분석, 어텐션, 트랜스포머 정리Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow (Aurélien Géron) Chapter 16. Natural Language Processing with RNNs and Attention 내용을 정리한 글이다.Char-RNN으로 셰익스피어 문장 생성Char-RNN이란?Char-RNN(Character-level RNN)은 문장 내의 다음 문자(character)를 예측하도록 훈련된 RNN이다. 단어 단위가 아닌 문자 단위로 동작하기 때문에 사전에 없는 단어도 생성할 수 있다.학습 데이터셋 구성셰익스피어 희곡 전체를 다운로드하여 윈도우 단위로 잘라 데이터셋을 만.. 2026. 3. 21. GDG : AI 미션코스 Week4 Week2 : Dense 층으로 모델 만들기Week3 : RNN과 LSTM으로 모델 만들기Week4는 Transformer 기반 감성 분류 모델을 만들어보았다. 마침 저번주에 Transformer가 나온 논문(Attention Is All You Need)을 리뷰했었다.복습하는 느낌으로 공부했다~먼저 Transformer를 구현할 때 필요한 라이브러리를 임포트 했다.Copyfrom tensorflow.keras.layers import ( Embedding, Dense, Dropout, LayerNormalization, Input, GlobalAveragePooling1D)from tensorflow.keras.models import Model, Sequentialfrom tensorflo.. 2025. 11. 28. [논문 리뷰] Attention Is All You Need Attention Is All You Need: 트랜스포머(Transformer)의 모든 것NLP(자연어 처리) 분야의 시작이라고 볼 수 있는 논문 리뷰를 시작하겠다.이 전의 대표적인 시계열 데이터를 처리하는 모델이었던 RNN의 단점을 해결한 Transformer를 소개하는 논문이다.시계열 : 시간의 흐름에 따라 일정한 간격으로 순서대로 나열된 데이터의 수열https://nlp.seas.harvard.edu/2018/04/03/attention.html (이 글에서 많은 도움을 받았다)RNN의 단점RNN은 시계열 데이터를 처리하기 때문에 병렬로 처리하지 못한다.RNN은 시간이 지날수록 오래된 시점의 token에 대한 정보가 점점 희미해져 간다.시계열 데이터는 등장 시점을 데이터로 취급하기 때문에, con.. 2025. 11. 22. 이전 1 다음
