척척석사가 되어보자

혼자끄적이는 공부 활성화 함수가 "입력값과 가중치(weight)의 곱의 합"의 강도를 조절해 주는 것은 알겠지만 어떠한 상황에서 적절한 활성화 함수가 무엇이고 어떤 장단점이 있는지 잘 몰라서 정리를 해보았다. 공부하면서 느낀건데 이 활성화 함수들의 장단점을 정확히 이해하기 위해 순방향(feeforward)과 역전파(back propagation) 계산을 직접 해보아야 겠다는 생각을 하였다. 그래야 Vanishing gradient 문제를 이해할 수 있을것 같다. 다음 포스팅은 역전파 계산과정을 써보아야겠다. 1. sigmoid 함수 보통 1 또는 0의 활성함수 값을 갖는다. 장점 : 선형 관계가 아니다 ( 선형모델에서는 종속변수에 대한 비례가 100%가 넘어갈수 있어 이치에 맞지 않는다. 예를들어, y=..

이전의 linear regression에서 H(x), Cost(x) 는 다음과 같았다. 이 경우에는 결과 값인 y가 제한없는 linear한 숫자일때 사용이 됐다. 하지만 yes or no로 분류하고 싶은 경우에는 비효율적인 공식이다. yes - 1 , no - 0 으로 결과 값을 0과 1로만 나누고 싶을 때는 어떻게 해야 할까 ? linear regression을 적용시키면 결과값 y와 H(x)의 범위는 0과 1를 벗어날 수 있다. 따라서 , 우리는 H(x)를 0과 1사이로 제한을 두는 함수를 찾고 싶다. 이 함수는 위의 조건을 만족한다. logistic function 또는 sigmoid function이라고도 한다. 이 함수의 경우 H(x)의 범위가 0과 1사이 인것을 알수 있다. 그렇다면 Cost(..

Supervised Learning의 linear regression을 살펴보자. linear regression의 모델이 생긴 배경은 우리 실생활에서 linear model의 가설이 적합한 경우가 많기 때문이다.예를들어 , 공부 시간 대비 시험점수가 높은 경우를 생각해 볼수 있다. 이때 linear model의 데이터 셋은 몇시간 공부했을때의 실제 학생들 점수를 입력받아 학습한다. 학습하여 최적의 linear model, 우리가 흔히 말하는 일차방정식 함수를 찾고, 새로운 데이터인 몇시간을 공부하였을 때 몇점이 나오는지 학습한 모델이 입력하여 원하는 결과값을 추출할 수 있다. 시간 (x) 점수 (y) 5 50 7 80 12 95 하지만, 데이터 셋의 점들을 이었을때 정확히 일직선일 경우는 드물다. 따라..

유튜브 딥러닝 강좌와 머신러닝 개념을 잘 설명해준 블로그를 참고하여 공부하려 한다. 유튜브 강좌 : https://www.youtube.com/channel/UCML9R2ol-l0Ab9OXoNnr7Lw블로그 : https://laonple.blog.me/220463627091 유튜브와 블로그를 공부한 토대로 복습 내용 적기. 1. Supervised Learning : 입력 + 출력 = > 모델을 만든다. 2. unsupervised Learning : 정답은 모르는 상태, 입력값만을 이용하여 모델을 만든다. 따라서 classification, auto-tagging등에 사용된다.3. reinforcement Learning : 로봇이 행동에 따라 칭찬과 벌을 받아 행동을 강화하여 학습한다. 1. Sup..