레플리
글 수 108

인공지능과 엔트로피

조회 수 1576 추천 수 0 2019.09.18 23:36:05


http://www.newspim.com/news/view/20190911001200

 

 

 

신경망의 손실함수(loss function)은 보통 분류와 회귀가 서로 다릅니다. 분류는 크로스엔트로피(cross entropy), 회귀는 평균제곱오차(mean square error)를 사용합니다. 물론 분류에도 MSE를 적용할 수 있지만, CE를 쓰는게 더 학습이 빠릅니다.

 

여기서 엔트로피라는 용어가 무엇을 의미하는지 궁금하신 분들이 많을 텐데요. 여기에 대해 잘 정리한 글입니다. 간단하게 말하면 엔트로피는 열역학 제2법칙인 무질서도를 뜻합니다. 예를 들어, 10명의 사람들 중 모두가 180cm라면 엔트로피가 낮습니다. 반대로 10명의 키가 각각 다르다면 엔트로피가 높다고 볼 수 있습니다. 이를 손실함수에 적용하면 오차가 얼마인지 계산이 가능합니다. 예측값과 정답 사이의 엔트로피가 작게 되도록 학습을 하는게 목표입니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
초지능이 우리의 신이 된다면? 깊은바다 2020-08-12 203
인공지능 시대의 재테크 방법 깊은바다 2020-06-15 360
딥마인드, 알파고 영화 무료로 공개 깊은바다 2020-03-16 725
튜링테스트와 중국어 방의 역설 깊은바다 2020-01-28 363
산업혁명 시대처럼 새로운 일자리가 생겨날 수 있을까 깊은바다 2020-01-13 198
인공지능 설계 순서 깊은바다 2020-01-12 1512
요슈아 벤지오, 딥러닝에 인과관계가 필요 깊은바다 2019-12-31 451
딥러닝의 3대 선구자, 요슈아 벤지오 인터뷰 깊은바다 2019-12-23 613
인공지능 발달해도 의식 가진 컴퓨터 못 만든다 file 깊은바다 2019-11-13 338
초지능을 막을 수 있는 방법 - 스튜어트 러셀 깊은바다 2019-10-11 341
얀 르쿤과 요슈아 벤지오, 초지능에 대한 설전 깊은바다 2019-10-07 731
인공지능 관련 테드(TED) 강연 목록 file 깊은바다 2019-10-05 4026
인공지능과 엔트로피 깊은바다 2019-09-18 1576
신입사원의 한숨을 덜어줄 기술, RPA 깊은바다 2019-09-15 393
인공지능은 인간을 차별하는가? 깊은바다 2019-08-28 173