레플리
글 수 108

인공지능과 엔트로피

조회 수 1579 추천 수 0 2019.09.18 23:36:05
깊은바다 *.68.247.186


http://www.newspim.com/news/view/20190911001200

 

 

 

신경망의 손실함수(loss function)은 보통 분류와 회귀가 서로 다릅니다. 분류는 크로스엔트로피(cross entropy), 회귀는 평균제곱오차(mean square error)를 사용합니다. 물론 분류에도 MSE를 적용할 수 있지만, CE를 쓰는게 더 학습이 빠릅니다.

 

여기서 엔트로피라는 용어가 무엇을 의미하는지 궁금하신 분들이 많을 텐데요. 여기에 대해 잘 정리한 글입니다. 간단하게 말하면 엔트로피는 열역학 제2법칙인 무질서도를 뜻합니다. 예를 들어, 10명의 사람들 중 모두가 180cm라면 엔트로피가 낮습니다. 반대로 10명의 키가 각각 다르다면 엔트로피가 높다고 볼 수 있습니다. 이를 손실함수에 적용하면 오차가 얼마인지 계산이 가능합니다. 예측값과 정답 사이의 엔트로피가 작게 되도록 학습을 하는게 목표입니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
한국 인터넷의 아버지 전길남, 우리가 인공지능을 배워야 하는 이유 깊은바다 2022-07-25 753
인공지능이 우리의 뇌를 퇴화시키는 것일까 깊은바다 2022-07-11 523
의식을 가진 인공지능이 탄생할 수 있을까 깊은바다 2022-06-20 543
구글 직원 LaMDA가 지각을 가지고 있다고 주장 - 대화전문 포함 깊은바다 2022-06-15 775
OpenAI의 일리야 수츠케버, 초거대모델이 약한 의식을 가질지도 모른다 file 깊은바다 2022-02-14 1021
메타버스에서도 오토봇이 문제가 될까 깊은바다 2022-02-06 715
디트로이드 비컴 휴먼 - 기계가 의식을 갖게 될까 깊은바다 2022-01-30 777
초거대모델 시대에 AI 개발자의 미래는? file 깊은바다 2021-12-25 391
인공지능은 어떻게 탄생했을까? 깊은바다 2021-10-25 699
딥러닝이 상식에 취약한 이유 file 깊은바다 2021-08-21 1575
초거대 인공지능(AI), 인류 집단 지성에 도전하는 AI의 등장 깊은바다 2021-06-02 196
튜링 테스트를 통과한 AI도 세상을 인간만큼 이해하지 못한다 깊은바다 2021-05-16 189
엔씨소프트의 K팝 메타버스 플랫폼, 유니버스 깊은바다 2021-02-10 855
현실과 가상 속 자아, 이제는 메타버스 시대 깊은바다 2021-02-08 211
4차 산업혁명 시대, 눈높이 맞춤 인공지능 용어 사전 file 깊은바다 2020-08-26 307
목록
쓰기