Backpropagation4 [Machine Learning & Deep Learning 공부] Neural Network를 이용한 이진 분류 오사카 여행 갔다 온 다음날, 바로 공부 시작..! 오늘은 Neural Network를 이용한 이진 분류를 공부하고 실습했다.이진분류에서, 마지막 output 활성화 함수를 sigmoid로 한다.Sigmoid 함수 특징Sigmoid 함수를 사용하는 이유는 y값이 0.5가 넘으면 1, 0.5보다 낮으면 0으로 이진 분류가 가능하기 때문이다.Sigmoid 함수 식에서 z는 logit이라고 하는데 logit 안에는 wx+b 공식이 들어간다.S curve를 형성하여 미분 가능하다.0.5 부근에서 급격하게 변화하기 때문에 민감한 데이터들을 분류하기 좋다.[0, 1]로 bound 되어 있다.초반에 말했듯이 ouput의 활성화함수는 sigmoid로 한다고 했다.그러면 중간의 hidden layer들은 무엇으로 할까.. 2025. 6. 26. [Machine Learning & Deep Learning 공부] Neural Network & Deep Learning 실습 오늘은 오랜만에 실습을 진행해보았다.Boston House Price Regression, 보스턴 주택가격 예측을 해보았다.구글의 CoLab에서 진행하고 있다(GPU를 사용하기 위해)# Google CoLab : 하루 12시간 무료 GPU 할당먼저 import로 라이브러리들을 필요한 불러오자.from sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.metrics import accuracy_score, r2_score# 딥러닝에 필요한 것들 불러오기from tensorflow.keras.models import Sequentialfrom tensorflow.kera.. 2025. 6. 20. [Machine Learning & Deep Learning 공부] Neural Network & Deep Learning_2 이제부터 실제 데이터들의 특징과 여러 변수들을 제어하기 위한 방법들을 소개할 것이다.1. 실제 데이터들은 울퉁불퉁되어있다.사진에서 '로컬 미니멈'과 '글로벌 미니멈'에 대해 알려주고 있다. 우리의 최종 목적지는 '글로벌 미니멈'인데 '로컬 미니멈'에 현혹되어 저곳으로 마무리할 경우 손해를 부르게 된다.2. Learning Rate(a)를 조절해야 한다.보통 Learning Rate는 1e-6 ~ 1.0 사이로 잡고(default 0.01) 진행하면 good learning rate가 된다.너무 High Learning Rate는 overshoot 될 가능성이 높아지고,너무 Low Learning Rate는 정답으로 가는 데까지 오랜 시간이 걸려 손해가 막심해진다.3. Momentum : 관성으로, 방향성.. 2025. 6. 17. [Machine Learning & Deep Learning 공부] Neural Network & Deep Learning_1 지금까지 배운 전통적 Machine Learning의 학습은'컴퓨터가 이해할 수 있도록 Domain 지식 및 통계학적 지식을 바탕으로 Features를 잘 만들어서 Data를 구성'해야 했다.이는 사람이 하는 것으로 기계를 학습시키려고 사람이 더 배우는 일이 일어났었다.그러나 Deep Learning은 중요한 Features를 스스로 구분하여 weight(가중치)를 부여하기 때문에 진화했다고 볼 수 있다.Deep Learning의 학습중요한 Feature를 스스로 구분하여 weight를 부여함으로써 사람이 manually 정해준 feature는 over-specified(과함), incomplete(불완전)한 위험성이 있고 작성에 많은 시간이 소요되는 것을 방지한다.여러 층에 걸친 내부 parameter.. 2025. 3. 25. 이전 1 다음
