레플리
글 수 35

경사 하강법 개요

조회 수 3372 추천 수 0 2017.03.08 21:53:18


http://fermium.tistory.com/833

 

 

 

경사 하강법(Gradient Descent)은 기울기로 함수의 최소값을 찾는 방법입니다.

많은 알고리즘에서 사용되는데 특히 신경망의 오류역전파에서 오류의 최소값을 찾는데 쓰입니다.

 

 


076def6906d8d011bc80110d1a11e4a1.gif

 

위의 f(x)라는 2차함수가 있을때 가장 낮은 곳에 위치하는 x값을 찾는다고 생각해봅시다.

현재 위치에서 계속 아래 방향으로 반복적으로 이동한다면 원하는 값을 얻을 수 있습니다.

 

그러면 어떻게 아래 방향으로 움직일 수 있을까요.

바로 접선의 기울기인 함수의 미분을 사용하면 가능합니다.

 

 

 

70f0f4c06a0e965f5a1ea527b471f294.png

 

알파는 학습계수(0~1)인데 작을 수록 정확하지만 시간이 오래 걸립니다.

현재 x에서 함수의 기울기에 학습계수만큼 곱해 x를 조금씩 이동합니다.

이렇게 반복해서 x를 계산하면 최종적으로 가장 낮은 위치의 x값에 수렴합니다.

 

 

 

< 인공지능 개발자 모임 >

- 페이스북 그룹에 가입하시면 인공지능에 대한 최신 정보를 쉽게 받으실 수 있습니다.

https://www.facebook.com/groups/AIDevKr/

 

List of Articles
제목 글쓴이 날짜 조회 수
구글 머신러닝 단기집중과정 [2] 깊은바다 2018-03-01 1363
teachable machine file [1] LegenDUST 2017-10-14 551
우버 엔지니어가 알려주는 머신러닝 이야기 깊은바다 2017-10-11 821
머신러닝에 대한 간단한 설명 깊은바다 2017-09-16 932
어떻게 하면 데이터 사이언티스트가 될 수 있나요? 깊은바다 2017-09-12 419
머신 러닝에 대한 시각적 입문 [2] LegenDUST 2017-09-06 617
학습과정과 데이터셋 이야기 깊은바다 2017-04-11 701
추천 시스템 분석 – 어떻게 아마존과 넷플릭스가 당신의 취향을 예상하는가? 깊은바다 2017-04-07 2502
넷플릭스 맞춤 추천의 비법 file 깊은바다 2017-04-02 617
서포트 벡터 머신(SVM)에 대한 소개 file 깊은바다 2017-03-24 738
이항 분류를 위한 로지스틱 회귀 file 깊은바다 2017-03-09 413
머신러닝 개념 이해 및 예제 file 깊은바다 2017-03-09 11811
쉽게 설명한 구글의 페이지 랭크 알고리즘 file 깊은바다 2017-03-09 1478
경사 하강법 개요 file 깊은바다 2017-03-08 3372
결정 트리 학습 알고리즘 소개 file 깊은바다 2017-02-28 1405