경사하강법을 공부하고 있는 평범한 공대생입니다. 제 궁금한 점은 수학적인거고 제가 수학적 지식이 뛰어나지 않기 때문에 증명은 꼭 안해주셔도 되고 증명되어있단 것만 알려주셔도 감사할 것 같습니다! 경사하강법에서 각각의 가중치를 수정하는 방법은 손실함수에 대해 수정하고 싶은 가중치로 편미분을 시켜 그 가중치를 축(기하학적으로)으로 하고 손실함수 값을 다른 한 축으로 하는 함수로 만들어서 (쉽게말해서 N차원 함수를 한 축으로 잘라서 단면을 보는 것)그 점(가중치 값)에서의 기울기를 보고 기울기의 반대방향으로 적당한만큼 점(가중치 값)을 이동시키는 것 입니다. 제가 여기서 궁금한 것은 각각의 가중치에 대해 그리디하게 N차원 함수를 자기 축만 잘라서 감소하는 방향으로 이동하고 난 뒤에 도착한 그 도착점이 N차원 함수의 함수값이 감소한 곳으로 이동한다는 것이 "무조건" 보장되는지가 궁금합니다. 3차원은 상상해 볼 수 있어서 대충 함수모양 생각하면 미분가능 함수가 전제조건이니까 무조건 가능한 것 같다는 것이 직관적으로 납득이 되는데 4차원부터는 우리가 기하학적으로 상상할 수 없는데 4차원 이상에서도 저렇게 각각의 축으로 편미분을 해서 감소하는 방향으로 점을 이동시키면 결과적으로 함수 값이 작아지는 쪽으로 항상 이동하는게 증명되었나요..? 아 그리고 학습률 때문에 손실값이 항상 작아지지 않을 수 있다는 답변이 달릴 수 있는데 만약 학습률이 적당하다는 가정을 하고 즉 학습률 배재했을 때 항상 작아지는 것인지 입니다! ㅠㅠ 너무 길어서 죄송합니다.