레플리
글 수 220

경사하강법 질문있습니다!

조회 수 216 추천 수 0 2020.04.29 23:24:47


경사하강법을 공부하고 있는 평범한 공대생입니다. 제 궁금한 점은 수학적인거고 제가 수학적 지식이 뛰어나지 않기 때문에 증명은 꼭 안해주셔도 되고 증명되어있단 것만 알려주셔도 감사할 것 같습니다! 경사하강법에서 각각의 가중치를 수정하는 방법은 손실함수에 대해 수정하고 싶은 가중치로 편미분을 시켜 그 가중치를 축(기하학적으로)으로 하고 손실함수 값을 다른 한 축으로 하는 함수로 만들어서 (쉽게말해서 N차원 함수를 한 축으로 잘라서 단면을 보는 것)그 점(가중치 값)에서의 기울기를 보고 기울기의 반대방향으로 적당한만큼 점(가중치 값)을 이동시키는 것 입니다. 제가 여기서 궁금한 것은 각각의 가중치에 대해 그리디하게 N차원 함수를 자기 축만 잘라서 감소하는 방향으로 이동하고 난 뒤에 도착한 그 도착점이 N차원 함수의 함수값이 감소한 곳으로 이동한다는 것이 "무조건" 보장되는지가 궁금합니다. 3차원은 상상해 볼 수 있어서 대충 함수모양 생각하면 미분가능 함수가 전제조건이니까 무조건 가능한 것 같다는 것이 직관적으로 납득이 되는데 4차원부터는 우리가 기하학적으로 상상할 수 없는데 4차원 이상에서도 저렇게 각각의 축으로 편미분을 해서 감소하는 방향으로 점을 이동시키면 결과적으로 함수 값이 작아지는 쪽으로 항상 이동하는게 증명되었나요..? 아 그리고 학습률 때문에 손실값이 항상 작아지지 않을 수 있다는 답변이 달릴 수 있는데 만약 학습률이 적당하다는 가정을 하고 즉 학습률 배재했을 때 항상 작아지는 것인지 입니다! ㅠㅠ 너무 길어서 죄송합니다. 

엮인글 :

깊은바다

2020.04.30 14:01:35
*.68.249.203

저도 수학적으로 증명이 되었는지는 잘 모르겠네요^^; 하지만 3차원이 가능하다면 그 이상의 차원에서도 마찬가지가 아닐까요. 단지 우리의 인식으로는 이해가 어려울 뿐이라 생각합니다.

섬세한솜씨

2020.05.07 20:40:56
*.192.210.227

2차원에서는 x축과의 거리, 3차원에서는 xy평면과의 수직거리 같이 기준을 잡고 일단 어떤 값을 최소로 하는게 목표인지 설정해야죠. 그것만 정해지면 당연히 최소가 되는 곳으로 다가갈수록 미분(사실 미분의 정의가 4차원부터는 인간이 지각하는게 힘드므로 다분히 이론적)값은 줄어들거 같습니다.

코딩하는기계

2020.06.11 16:53:01
*.131.152.197

지금 값보다 더 작은 쪽으로 이동합니다. 하지만 항상 가장 작은 값이라고 보장할 수는 없습니다.


하지만 최종적으로 가장 작은 값으로 이동하는 알고리즘은 상상할 수 있습니다.

 

시스템 성능적으로, 그리고 보편적으로. 전자의 알고리즘을 사용합니다.

List of Articles
제목 글쓴이 날짜sort 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
[전액국비지원] [빅데이터/AI] [2024 채용연계형 SW 전문인재양성 무료 교육과정 교육생 모집] *상시모집 *수강생 추천시 인센티브 제공 file 벡스 2024-03-26 17
♥ 청년취업사관학교 새싹(SeSAC) 영등포캠퍼스 6기 SW과정 모집 (~ 04.21) ♥ file 새싹SeSAC 2024-03-25 16
[마감임박] 스마트농업 AI 경진대회 시상식 및 포럼 사전등록 진행 중 file GOAT 2024-02-07 101
비전공자 개발자 무료 직무교육(빅데이터/AI) / 실무기반 프로젝트, 현장실습 기회 제공 file 벡스 2024-02-01 134
[딥러닝러닝데이] AutoML을 활용한 모델 탐색-서호건 file 인공지능팩토리1 2024-01-11 138
논문 이해의 필요성(질문) [1] 썸머ai 2024-01-08 192
비전공자도 생성형 AI 활용 인공지능 개발 제대로 배우고 개념부터 활용까지 배우고 싶다면? 비트캠프 2023-12-19 136
메타버스+초거대AI 서비스 기획 공모전 file [1] 깊은바다 2023-08-16 165
음성 데이터셋 정보를 한 번에 탐색 할 수 있는 아카이브를 만들었습니다! (SODA) file ODA 2023-06-14 86
딥러닝 관련 질문 (CPU -> GPU 설정 변환후, keras-tuner 돌릴때 error 발생) J814 2023-06-14 101
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 210
안녕하세요 처음으로 만들어본 챗봇 공유해봅니다. [1] KimYH 2023-01-18 258
카카오 Kogpt 파인튜닝. [3] 영화관람권익보장 2022-11-12 2453
[질문드립니다] 전이학습 개념 관련 [2] 테리웁스 2022-08-23 834