레플리
글 수 218

경사하강법 질문있습니다!

조회 수 215 추천 수 0 2020.04.29 23:24:47


경사하강법을 공부하고 있는 평범한 공대생입니다. 제 궁금한 점은 수학적인거고 제가 수학적 지식이 뛰어나지 않기 때문에 증명은 꼭 안해주셔도 되고 증명되어있단 것만 알려주셔도 감사할 것 같습니다! 경사하강법에서 각각의 가중치를 수정하는 방법은 손실함수에 대해 수정하고 싶은 가중치로 편미분을 시켜 그 가중치를 축(기하학적으로)으로 하고 손실함수 값을 다른 한 축으로 하는 함수로 만들어서 (쉽게말해서 N차원 함수를 한 축으로 잘라서 단면을 보는 것)그 점(가중치 값)에서의 기울기를 보고 기울기의 반대방향으로 적당한만큼 점(가중치 값)을 이동시키는 것 입니다. 제가 여기서 궁금한 것은 각각의 가중치에 대해 그리디하게 N차원 함수를 자기 축만 잘라서 감소하는 방향으로 이동하고 난 뒤에 도착한 그 도착점이 N차원 함수의 함수값이 감소한 곳으로 이동한다는 것이 "무조건" 보장되는지가 궁금합니다. 3차원은 상상해 볼 수 있어서 대충 함수모양 생각하면 미분가능 함수가 전제조건이니까 무조건 가능한 것 같다는 것이 직관적으로 납득이 되는데 4차원부터는 우리가 기하학적으로 상상할 수 없는데 4차원 이상에서도 저렇게 각각의 축으로 편미분을 해서 감소하는 방향으로 점을 이동시키면 결과적으로 함수 값이 작아지는 쪽으로 항상 이동하는게 증명되었나요..? 아 그리고 학습률 때문에 손실값이 항상 작아지지 않을 수 있다는 답변이 달릴 수 있는데 만약 학습률이 적당하다는 가정을 하고 즉 학습률 배재했을 때 항상 작아지는 것인지 입니다! ㅠㅠ 너무 길어서 죄송합니다. 

엮인글 :

깊은바다

2020.04.30 14:01:35
*.68.249.203

저도 수학적으로 증명이 되었는지는 잘 모르겠네요^^; 하지만 3차원이 가능하다면 그 이상의 차원에서도 마찬가지가 아닐까요. 단지 우리의 인식으로는 이해가 어려울 뿐이라 생각합니다.

섬세한솜씨

2020.05.07 20:40:56
*.192.210.227

2차원에서는 x축과의 거리, 3차원에서는 xy평면과의 수직거리 같이 기준을 잡고 일단 어떤 값을 최소로 하는게 목표인지 설정해야죠. 그것만 정해지면 당연히 최소가 되는 곳으로 다가갈수록 미분(사실 미분의 정의가 4차원부터는 인간이 지각하는게 힘드므로 다분히 이론적)값은 줄어들거 같습니다.

코딩하는기계

2020.06.11 16:53:01
*.131.152.197

지금 값보다 더 작은 쪽으로 이동합니다. 하지만 항상 가장 작은 값이라고 보장할 수는 없습니다.


하지만 최종적으로 가장 작은 값으로 이동하는 알고리즘은 상상할 수 있습니다.

 

시스템 성능적으로, 그리고 보편적으로. 전자의 알고리즘을 사용합니다.

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 289
안녕하세요 가입인사드리며 질문도 하나 여쭙겠습니다. [2] 병쥐 2020-10-15 128
제가 만든 ai fitness 사이트 어떤 가요? 처음 만듬 [1] sdfsdf 2020-09-28 233
장고와 카카오 i 오픈 빌더 사용법 질문 ㅠㅠ file [1] 애뚱이 2020-09-19 320
[질문]학습과정에서의 Ram [2] 삽질만하네 2020-09-12 420
말 만들어주는 인공지능 만들었어요! [1] mail 2020-09-08 279
감성 AI 챗봇 문의드립니다. [2] 아임둥 2020-09-06 222
seq2seq train과 test 분리에 대한 질문 [4] Nike 2020-09-03 116
가입 인사드립니다. [2] 민주아빠 2020-08-04 121
개인 신분으로 연구 데이터(human3.6m)에 대한 접근 YONGS 2020-06-10 501
카카오톡 '나는 원숭이다' 해킹 사건의 전말 깊은바다 2020-05-23 1786
경사하강법 질문있습니다! [3] 평범한공대생 2020-04-29 215
신경망 관련 질문 드립니다. [1] 엄고 2020-04-28 144
객체 인식관련 질문드립니다. [1] harrym 2020-04-20 162
가입인사 드립니다. [1] 홍라이코스 2020-03-24 185
가입 인사 겸 질문입니다. file [1] 초보개발자입니다 2020-01-06 328