레플리
글 수 203

신경망에 활성화 함수가 필요한 이유

조회 수 23714 추천 수 0 2019.05.14 16:52:42


60166079_666492127143254_8955792056735760384_n.jpg

 

59913452_666495820476218_1254050581220163584_n.jpg

 

59926815_666498673809266_3128399370328735744_n.jpg

 

https://www.facebook.com/groups/TensorFlowKR/permalink/900098033664589/

 

 

 

신경망에서 활성화 함수가 필요한 이유를 잘 설명한 글입니다. 과거 단층신경망인 퍼셉트론은 XOR 연산을 할 수가 없었습니다. 당시 기호주의 인공지능의 대가인 마빈 민스키가 이를 공격했고, 그후 신경망의 첫 번째 겨울이 시작되었습니다.

 

XOR 연산을 풀기 위해서는 신경망의 출력인 가설 공간을 비선형으로 분리해야 합니다. 직선 하나만으로 4개의 입력을 제대로 구분할 수 없기 때문입니다. 이를 위해서는 먼저 히든 레이어가 필요합니다. 하나의 층으로는 한 번만 분리가 가능하므로 레이어를 중첩하여 여러번 가설 공간을 나눌 필요가 있습니다.

 

두 번째는 비선형으로 된 활성화 함수로 신경망의 출력을 변환해야 합니다. 단순히 중간층을 연결한다고 비선형이 되지 않습니다. 선형 행렬과 선형 행렬을 곱하면 선형이 될 뿐입니다. 그래서 활성화 함수로 한 번 비선형 변환을 거쳐야 합니다.

 

예전에는 활성화 함수로 sigmoid나 tanh를 주로 사용했습니다. 그러나 양 끝의 정보가 없어지면서 그래디언트 소실 문제가 발생하는 것을 발견했습니다. 지금은 ReLU 같이 출력의 정보가 계속 유지되는 함수를 많이 적용합니다.

List of Articles
제목 글쓴이 날짜 조회 수sort
원티드는 어떻게 AI로 채용 결과를 예측하고 매칭할까 깊은바다 2021-11-09 959
스케치를 사진으로 변환하는 딥러닝 - NVIDIA의 GauGAN 깊은바다 2019-03-20 968
문장을 사진으로 변환하는 GPT-3 모델, DALL-E 깊은바다 2021-01-09 978
어떻게 컴퓨터가 사진을 이해하게 되었는가 깊은바다 2017-03-31 995
딥러닝(Deep Learning)에 대한 소개 깊은바다 2016-03-21 1000
GAN으로 사진에서 특정 부분을 지워주는 서비스 - Cleanup.pictures file 깊은바다 2022-01-17 1018
메타AI의 멀티모달 자기지도학습 모델인 Data2vec 깊은바다 2022-01-26 1028
CNN 초보자가 만드는 초보자 가이드 깊은바다 2017-04-09 1040
인공신경망 학습 레시피 - 안드레이 카파시의 딥러닝 실전 노하우 깊은바다 2019-04-27 1051
내가 말하는 걸 보여줘, DALL-E 깊은바다 2021-11-11 1062
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 1068
말로 영상을 생성하는 딥러닝 모델 - CogVideo file 깊은바다 2022-05-30 1069
최초로 인간 수준의 크기를 가진 중국의 딥러닝 모델 - BaGuaLu file 깊은바다 2022-06-23 1116
Stable Diffusion으로 만든 뮤직비디오 영상 깊은바다 2022-09-25 1128
10분안에 배우는 머신러닝 - GAN 알고리즘 원리와 응용분야 깊은바다 2019-04-01 1131