글 수 74

인공지능과 엔트로피

조회 수 1011 추천 수 0 2019.09.18 23:36:05


http://www.newspim.com/news/view/20190911001200

 

 

 

신경망의 손실함수(loss function)은 보통 분류와 회귀가 서로 다릅니다. 분류는 크로스엔트로피(cross entropy), 회귀는 평균제곱오차(mean square error)를 사용합니다. 물론 분류에도 MSE를 적용할 수 있지만, CE를 쓰는게 더 학습이 빠릅니다.

 

여기서 엔트로피라는 용어가 무엇을 의미하는지 궁금하신 분들이 많을 텐데요. 여기에 대해 잘 정리한 글입니다. 간단하게 말하면 엔트로피는 열역학 제2법칙인 무질서도를 뜻합니다. 예를 들어, 10명의 사람들 중 모두가 180cm라면 엔트로피가 낮습니다. 반대로 10명의 키가 각각 다르다면 엔트로피가 높다고 볼 수 있습니다. 이를 손실함수에 적용하면 오차가 얼마인지 계산이 가능합니다. 예측값과 정답 사이의 엔트로피가 작게 되도록 학습을 하는게 목표입니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
산업혁명 시대처럼 새로운 일자리가 생겨날 수 있을까 깊은바다 2020-01-13 34
인공지능 설계 순서 깊은바다 2020-01-12 71
요슈아 벤지오, 딥러닝에 인과관계가 필요 깊은바다 2019-12-31 66
딥러닝의 3대 선구자, 요슈아 벤지오 인터뷰 깊은바다 2019-12-23 90
인공지능 발달해도 의식 가진 컴퓨터 못 만든다 file 깊은바다 2019-11-13 141
초지능을 막을 수 있는 방법 - 스튜어트 러셀 깊은바다 2019-10-11 111
얀 르쿤과 요슈아 벤지오, 초지능에 대한 설전 깊은바다 2019-10-07 379
인공지능 관련 테드(TED) 강연 목록 file 깊은바다 2019-10-05 568
인공지능과 엔트로피 깊은바다 2019-09-18 1011
신입사원의 한숨을 덜어줄 기술, RPA 깊은바다 2019-09-15 236
인공지능은 인간을 차별하는가? 깊은바다 2019-08-28 86
오래된 AI 판별법 '튜링테스트'...여전히 유효한가? 깊은바다 2019-08-16 294
이것만 기억하세요 AI AI AI, 손정의 소프트뱅크 회장 청와대 접견 깊은바다 2019-08-09 127
중국의 아파트에 설치된 안면인식 시스템 깊은바다 2019-07-26 102
의식에 관한 연구로 유명한 Hod Lipson의 인터뷰 깊은바다 2019-07-15 90