글 수 69

인공지능과 엔트로피

조회 수 141 추천 수 0 2019.09.18 23:36:05


http://www.newspim.com/news/view/20190911001200

 

 

 

신경망의 손실함수(loss function)은 보통 분류와 회귀가 서로 다릅니다. 분류는 크로스엔트로피(cross entropy), 회귀는 평균제곱오차(mean square error)를 사용합니다. 물론 분류에도 MSE를 적용할 수 있지만, CE를 쓰는게 더 학습이 빠릅니다.

 

여기서 엔트로피라는 용어가 무엇을 의미하는지 궁금하신 분들이 많을 텐데요. 여기에 대해 잘 정리한 글입니다. 간단하게 말하면 엔트로피는 열역학 제2법칙인 무질서도를 뜻합니다. 예를 들어, 10명의 사람들 중 모두가 180cm라면 엔트로피가 낮습니다. 반대로 10명의 키가 각각 다르다면 엔트로피가 높다고 볼 수 있습니다. 이를 손실함수에 적용하면 오차가 얼마인지 계산이 가능합니다. 예측값과 정답 사이의 엔트로피가 작게 되도록 학습을 하는게 목표입니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
초지능을 막을 수 있는 방법 - 스튜어트 러셀 깊은바다 2019-10-11 28
얀 르쿤과 요슈아 벤지오, 초지능에 대한 설전 깊은바다 2019-10-07 61
인공지능 관련 테드(TED) 강연 목록 file 깊은바다 2019-10-05 380
인공지능과 엔트로피 깊은바다 2019-09-18 141
신입사원의 한숨을 덜어줄 기술, RPA 깊은바다 2019-09-15 166
인공지능은 인간을 차별하는가? 깊은바다 2019-08-28 56
오래된 AI 판별법 '튜링테스트'...여전히 유효한가? 깊은바다 2019-08-16 232
이것만 기억하세요 AI AI AI, 손정의 소프트뱅크 회장 청와대 접견 깊은바다 2019-08-09 100
중국의 아파트에 설치된 안면인식 시스템 깊은바다 2019-07-26 77
의식에 관한 연구로 유명한 Hod Lipson의 인터뷰 깊은바다 2019-07-15 70
데미스 하사비스 - 전이학습이 일반 인공지능으로 가는 열쇠 깊은바다 2019-07-10 130
이유를 설명해주는 딥러닝, XAI (Explainable AI) 깊은바다 2019-07-04 283
공유 경제와 자동화의 그늘 [2] 깊은바다 2019-05-18 99
소프트뱅크는 이제 AI트래픽으로 성장한다 깊은바다 2019-05-16 112
AI가 어떻게 인간 존엄성을 회복시키는가 깊은바다 2019-04-18 81