linear regression 개념 정리

Supervised Learning의 linear regression을 살펴보자.

linear regression의 모델이 생긴 배경은 우리 실생활에서 linear model의 가설이 적합한 경우가 많기 때문이다.

예를들어 , 공부 시간 대비 시험점수가 높은 경우를 생각해 볼수 있다. 이때 linear model의 데이터 셋은 몇시간 공부했을때의 실제 학생들 점수를 입력받아 학습한다. 학습하여 최적의 linear model, 우리가 흔히 말하는 일차방정식 함수를 찾고, 새로운 데이터인 몇시간을 공부하였을 때 몇점이 나오는지 학습한 모델이 입력하여 원하는 결과값을 추출할 수 있다.

시간 (x)	점수 (y)
5	50
7	80
12	95

하지만, 데이터 셋의 점들을 이었을때 정확히 일직선일 경우는 드물다. 따라서, 우리는 최적의 일직선을 찾아야 하는 것이 목표이다.

여기서 일직선(함수)는 가설이 되고 곧 H(x) = Wx+b의 모델을 찾아야 하는 것이다. 여기서 변수는 W와 b이므로 이 두 변수의 적절한 값을 찾으면 된다.

그렇다면, 어느 linear 함수가 제일 적절한지 어떻게 찾아낼까 ?

점들과 선의 거리를 비교한다. 점들과 선의 거리를 평균내어 제일 적은 값을 가진 함수가 적합하다고 할수 있다.

이를 거리측정 방식이라 하고 Cost function (Loss function)을 이용 한다.

Loss function으로 보았을 때, 실제 결과 값과 모델상의 결과 값을 빼면 된다.

식으로 나타내면 다음과 같다.

하지만 음수를 처리하기위해 보통 다음과 같이 계산한다.

위의 예제에서 Loss function은

이다.

따라서 , Loss function을 정리하면 다음과 같다.

m은 데이터의 개수이다.

H(x) = W*x+b이다. 따라서 결국, cost가 제일 작은 W와 b만 찾으면 된다.