글 수 173

경사하강법 질문있습니다!

조회 수 57 추천 수 0 2020.04.29 23:24:47


경사하강법을 공부하고 있는 평범한 공대생입니다. 제 궁금한 점은 수학적인거고 제가 수학적 지식이 뛰어나지 않기 때문에 증명은 꼭 안해주셔도 되고 증명되어있단 것만 알려주셔도 감사할 것 같습니다! 경사하강법에서 각각의 가중치를 수정하는 방법은 손실함수에 대해 수정하고 싶은 가중치로 편미분을 시켜 그 가중치를 축(기하학적으로)으로 하고 손실함수 값을 다른 한 축으로 하는 함수로 만들어서 (쉽게말해서 N차원 함수를 한 축으로 잘라서 단면을 보는 것)그 점(가중치 값)에서의 기울기를 보고 기울기의 반대방향으로 적당한만큼 점(가중치 값)을 이동시키는 것 입니다. 제가 여기서 궁금한 것은 각각의 가중치에 대해 그리디하게 N차원 함수를 자기 축만 잘라서 감소하는 방향으로 이동하고 난 뒤에 도착한 그 도착점이 N차원 함수의 함수값이 감소한 곳으로 이동한다는 것이 "무조건" 보장되는지가 궁금합니다. 3차원은 상상해 볼 수 있어서 대충 함수모양 생각하면 미분가능 함수가 전제조건이니까 무조건 가능한 것 같다는 것이 직관적으로 납득이 되는데 4차원부터는 우리가 기하학적으로 상상할 수 없는데 4차원 이상에서도 저렇게 각각의 축으로 편미분을 해서 감소하는 방향으로 점을 이동시키면 결과적으로 함수 값이 작아지는 쪽으로 항상 이동하는게 증명되었나요..? 아 그리고 학습률 때문에 손실값이 항상 작아지지 않을 수 있다는 답변이 달릴 수 있는데 만약 학습률이 적당하다는 가정을 하고 즉 학습률 배재했을 때 항상 작아지는 것인지 입니다! ㅠㅠ 너무 길어서 죄송합니다. 

엮인글 :

깊은바다

2020.04.30 14:01:35
*.68.249.203

저도 수학적으로 증명이 되었는지는 잘 모르겠네요^^; 하지만 3차원이 가능하다면 그 이상의 차원에서도 마찬가지가 아닐까요. 단지 우리의 인식으로는 이해가 어려울 뿐이라 생각합니다.

섬세한솜씨

2020.05.07 20:40:56
*.192.210.227

2차원에서는 x축과의 거리, 3차원에서는 xy평면과의 수직거리 같이 기준을 잡고 일단 어떤 값을 최소로 하는게 목표인지 설정해야죠. 그것만 정해지면 당연히 최소가 되는 곳으로 다가갈수록 미분(사실 미분의 정의가 4차원부터는 인간이 지각하는게 힘드므로 다분히 이론적)값은 줄어들거 같습니다.

List of Articles
제목 글쓴이 날짜 조회 수
카카오톡 '나는 원숭이다' 해킹 사건의 전말 깊은바다 2020-05-23 223
한국어 NLP 대형모델 배포와 AI 챌린지 (인라이플 , LG CNS) 랄랄라 2020-05-18 61
'포스트코로나 AI 챌린지' 경진대회 개미 2020-05-06 86
경사하강법 질문있습니다! [2] 평범한공대생 2020-04-29 57
신경망 관련 질문 드립니다. [1] 엄고 2020-04-28 64
객체 인식관련 질문드립니다. [1] harrym 2020-04-20 71
[글로벌 AI 선두 기업] 인공지능 컨설턴트 (7년 이상) jungsy0613 2020-04-16 68
가입인사 드립니다. [1] 홍라이코스 2020-03-24 109
가입 인사 겸 질문입니다. file [1] 초보개발자입니다 2020-01-06 231
안녕하세요 챗봇 관련해서 질문있습니다. [3] 된장찌개 2020-01-02 113
사지방컴입니다. 신경망 라이브러리 깃헙링크입니다. [1] 사지방컴 2020-01-01 113
새해 복 많이 받으세요~ [2] NeuroWhAI 2020-01-01 220
안녕하세요. 사지방컴입니다. 정말 오랜만에 글 작성합니다. [2] 사지방컴 2019-12-19 141
케라스로 만든 코드를 C++에서 쓸 수 있나요? [2] 거북이 2019-11-26 216
가입 인사 드립니다. [1] 야발자 2019-11-08 2361