http://bcho.tistory.com/m/1139

머신러닝의 가장 기본이 되는 방법 중 하나가 선형 회귀(linear regression)입니다. 회귀라는 말이 약간 어려울 수 있는데 돌아오다, 복귀하다란 뜻입니다. 데이터를 반복적으로 관찰하면 어떤 패턴으로 회귀한다는 것을 의미합니다.

선형 회귀는 이 패턴이 직선의 모습을 하고 있는데 'y = wx + b'라는 1차 방정식으로 표현됩니다. 예를 들어, 거리에 따른 택시요금 데이터가 있을때 이를 사용하여 방정식의 w와 b값을 구합니다. 그러면 새로운 거리인 x가 주어졌을때 택시요금 y를 추정할 수 있습니다.

선형 회귀를 구하는 방법은 첫번째로 최소제곱법을 들 수 있습니다. 유명한 수학자인 가우스가 1795년 발견하였는데 특정 공식을 사용하여 w와 b를 계산합니다.

두번째 방법은 경사하강법을 이용한 학습 알고리즘입니다. 예측값이 y'고 실제값이 y라면 오차인 (y' - y)^2을 더하여 비용함수(cost function)를 만듭니다. 이는 w와 b의 2차 함수의 U자 모양 그래프로 나타낼 수 있는데 각각을 편미분 하여 기울기를 구하면 파라미터가 어느 방향으로 이동해야 오차를 줄일 수 있는지 알 수 있습니다.

이렇게 '데이터 -> 오차 -> 비용함수 -> 경사하강법 학습'이 머신러닝의 공통적인 프로세스입니다.