레플리
글 수 220

경사하강법 질문있습니다!

조회 수 216 추천 수 0 2020.04.29 23:24:47


경사하강법을 공부하고 있는 평범한 공대생입니다. 제 궁금한 점은 수학적인거고 제가 수학적 지식이 뛰어나지 않기 때문에 증명은 꼭 안해주셔도 되고 증명되어있단 것만 알려주셔도 감사할 것 같습니다! 경사하강법에서 각각의 가중치를 수정하는 방법은 손실함수에 대해 수정하고 싶은 가중치로 편미분을 시켜 그 가중치를 축(기하학적으로)으로 하고 손실함수 값을 다른 한 축으로 하는 함수로 만들어서 (쉽게말해서 N차원 함수를 한 축으로 잘라서 단면을 보는 것)그 점(가중치 값)에서의 기울기를 보고 기울기의 반대방향으로 적당한만큼 점(가중치 값)을 이동시키는 것 입니다. 제가 여기서 궁금한 것은 각각의 가중치에 대해 그리디하게 N차원 함수를 자기 축만 잘라서 감소하는 방향으로 이동하고 난 뒤에 도착한 그 도착점이 N차원 함수의 함수값이 감소한 곳으로 이동한다는 것이 "무조건" 보장되는지가 궁금합니다. 3차원은 상상해 볼 수 있어서 대충 함수모양 생각하면 미분가능 함수가 전제조건이니까 무조건 가능한 것 같다는 것이 직관적으로 납득이 되는데 4차원부터는 우리가 기하학적으로 상상할 수 없는데 4차원 이상에서도 저렇게 각각의 축으로 편미분을 해서 감소하는 방향으로 점을 이동시키면 결과적으로 함수 값이 작아지는 쪽으로 항상 이동하는게 증명되었나요..? 아 그리고 학습률 때문에 손실값이 항상 작아지지 않을 수 있다는 답변이 달릴 수 있는데 만약 학습률이 적당하다는 가정을 하고 즉 학습률 배재했을 때 항상 작아지는 것인지 입니다! ㅠㅠ 너무 길어서 죄송합니다. 

엮인글 :

깊은바다

2020.04.30 14:01:35
*.68.249.203

저도 수학적으로 증명이 되었는지는 잘 모르겠네요^^; 하지만 3차원이 가능하다면 그 이상의 차원에서도 마찬가지가 아닐까요. 단지 우리의 인식으로는 이해가 어려울 뿐이라 생각합니다.

섬세한솜씨

2020.05.07 20:40:56
*.192.210.227

2차원에서는 x축과의 거리, 3차원에서는 xy평면과의 수직거리 같이 기준을 잡고 일단 어떤 값을 최소로 하는게 목표인지 설정해야죠. 그것만 정해지면 당연히 최소가 되는 곳으로 다가갈수록 미분(사실 미분의 정의가 4차원부터는 인간이 지각하는게 힘드므로 다분히 이론적)값은 줄어들거 같습니다.

코딩하는기계

2020.06.11 16:53:01
*.131.152.197

지금 값보다 더 작은 쪽으로 이동합니다. 하지만 항상 가장 작은 값이라고 보장할 수는 없습니다.


하지만 최종적으로 가장 작은 값으로 이동하는 알고리즘은 상상할 수 있습니다.

 

시스템 성능적으로, 그리고 보편적으로. 전자의 알고리즘을 사용합니다.

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
AI 개발자, 데이터과학자 모임 오픈 채팅방 링크 공유 Dfinite 2022-07-23 801
kaggle 사이트 관련 [1] gat 2022-06-21 1022
카카오톡 오픈채팅방 문의 [1] 외계공룡 2022-06-19 882
챗봇 빌더와 챗봇 모델을 사용하여 직접 개발하는 방법의 차이점은 무엇인가요? [1] 에이아이 2022-06-17 888
해당 기술에 대해 궁금합니다. 아까그분 2022-06-14 448
안녕하세요. 잘부탁드려요~!!! [1] jungjunn 2022-03-31 1568
메타, 메타버스 개발용 AI '빌더 봇' 선봬 깊은바다 2022-02-26 806
Yolov5 디바이스 사양 추천 부탁드립니다. rhee 2022-02-14 788
일상대화 챗봇 기반 메타버스 플랫폼을 만드실 백엔드 개발자 모집 깊은바다 2022-01-12 456
word2vec 질문입니다. [1] 노력하는돌 2021-09-13 1152
안녕하세요. 제가 속해있는 회사에서 딥러닝 엔지니어를 채용합니다. 깊은바다 2021-08-02 1047
딥러닝에 대한 질문드려용 [1] 병쥐 2021-05-17 222
GPT-3를 사용한 AI Dungeon, 문장 필터링에 문제 발생 깊은바다 2021-05-07 293
최근에 KoGpt2 모델 써보신분 있으신가요? [2] 안녕하세영 2021-04-15 616
기존 RNN, Transformer 보다 강력한 시계열 망 입니다. 가을전설 2021-04-08 260