글 수 91

신경망에 활성화 함수가 필요한 이유

조회 수 285 추천 수 0 2019.05.14 16:52:42


60166079_666492127143254_8955792056735760384_n.jpg

 

59913452_666495820476218_1254050581220163584_n.jpg

 

59926815_666498673809266_3128399370328735744_n.jpg

 

https://www.facebook.com/groups/TensorFlowKR/permalink/900098033664589/

 

 

 

신경망에서 활성화 함수가 필요한 이유를 잘 설명한 글입니다. 과거 단층신경망인 퍼셉트론은 XOR 연산을 할 수가 없었습니다. 당시 기호주의 인공지능의 대가인 마빈 민스키가 이를 공격했고, 그후 신경망의 첫 번째 겨울이 시작되었습니다.

 

XOR 연산을 풀기 위해서는 신경망의 출력인 가설 공간을 비선형으로 분리해야 합니다. 직선 하나만으로 4개의 입력을 제대로 구분할 수 없기 때문입니다. 이를 위해서는 먼저 히든 레이어가 필요합니다. 하나의 층으로는 한 번만 분리가 가능하므로 레이어를 중첩하여 여러번 가설 공간을 나눌 필요가 있습니다.

 

두 번째는 비선형으로 된 활성화 함수로 신경망의 출력을 변환해야 합니다. 단순히 중간층을 연결한다고 비선형이 되지 않습니다. 선형 행렬과 선형 행렬을 곱하면 선형이 될 뿐입니다. 그래서 활성화 함수로 한 번 비선형 변환을 거쳐야 합니다.

 

예전에는 활성화 함수로 sigmoid나 tanh를 주로 사용했습니다. 그러나 양 끝의 정보가 없어지면서 그래디언트 소실 문제가 발생하는 것을 발견했습니다. 지금은 ReLU 같이 출력의 정보가 계속 유지되는 함수를 많이 적용합니다.

List of Articles
제목 글쓴이 날짜 조회 수
신경망에 활성화 함수가 필요한 이유 file 깊은바다 2019-05-14 285
핸즈온 머신러닝 2판 영문 초고 다운로드 깊은바다 2019-05-12 454
GTA5로 자율주행 구현 영상 깊은바다 2019-05-08 430
전신 사진을 생성하는 GAN 깊은바다 2019-05-05 328
인공신경망 학습 레시피 - 안드레이 카파시의 딥러닝 실전 노하우 깊은바다 2019-04-27 268
MS의 챗봇 린나, 딥러닝으로 노래를 부르는 가수로 데뷔 깊은바다 2019-04-10 172
10분안에 배우는 머신러닝 - GAN 알고리즘 원리와 응용분야 깊은바다 2019-04-01 450
구글 텐서플로우 첫걸음 - Tensorflow2.0 소개 [1] 깊은바다 2019-03-27 1933
스케치를 사진으로 변환하는 딥러닝 - NVIDIA의 GauGAN 깊은바다 2019-03-20 379
인공지능이 가상의 온라인 모델을 만들어낸다면? 깊은바다 2019-03-15 155
딥 러닝 이후, AI 알고리즘 트렌드 깊은바다 2019-03-11 1163
GAN으로 만든 가짜 사진과 진짜 사진을 맞추는 사이트 file 깊은바다 2019-03-04 313
스케치와 색을 지정하여 셀카를 편집하는 SC-FEGAN 깊은바다 2019-02-22 405
StyleGAN을 사용하여 새로운 얼굴을 생성하는 사이트 file 깊은바다 2019-02-17 658
빈 주차공간을 찾아서 알려주는 인공지능 만든 개발자 깊은바다 2019-02-09 486