레플리
글 수 126


207899943.jpg

 

http://www.yes24.com/Product/Goods/67439369

 

 

 

최근에 나온 딥러닝 강화학습 책입니다.

 

원래 '파이썬과 케라스로 배우는 강화학습'이라는 강아지 표지의 책이 유명한데요. 강화학습의 기반이 되는 MDP(Markov Decision Process)와 벨만 방정식, 다이나믹 프로그래밍에 대해서 자세히 나와있기도 합니다. 다만 수식이 너무 많고 전문적인 내용이라 초보자들이 이해하기가 어렵습니다. 또 저자가 5명이라 그런지 전체적으로 통일감이 좀 떨어진다는 단점도 있습니다.

 

반면에 이 책은 핵심적인 학습 공식을 제외하고는 수식이 거의 없습니다. 대신 코드 레벨로 직접 테스트하고 보여주는데 초점을 맞추고 있습니다. 특히 미로찾기 예제를 통해 정책 경사(Policy Gradient)와 가치 반복(Value Iteration)을 보여주는 2장이 가장 좋았습니다. 그 뒤의 장은 강화학습에 어떻게 딥러닝을 적용하는지 단계별로 설명하고 있습니다.

 

 

 

강화학습은 크게 정책 경사와 가치 반복으로 구분됩니다. 쉽게 말하면 정책 경사는 어떤 행동을 할지 직접 분류를 하고, 가치 반복은 각 행동에 따른 가치값을 회귀로 구해 가장 높은 수치의 행동을 결정합니다. 또한 정책 경사는 보통 보상을 받은 에피소드가 끝나고 한 번에 학습을 하지만, 가치 반복은 매 턴마다 학습이 이루어지는 차이점이 있습니다.

 

이 두 가지 방법을 동시에 사용하는 것이 A3C, A2C 같은 Actor-Critic 방식입니니다. Actor는 정책 경사처럼 직접 행동을, Critic은 가치값을 구하여 학습을 위한 오차 계산에 같이 적용합니다.

 

먼저 이 책으로 강화학습에 대한 감을 익히고 나서, 강아지 책에 나와있는 이론들을 이해하는 것도 좋을 듯 합니다.

List of Articles
제목 글쓴이 날짜 조회 수
오토노미 제2의 이동 혁명 file 깊은바다 2020-02-23 217
다양한 봇빌더를 이용한 똑똑한 챗봇 만들기 file 깊은바다 2020-01-21 338
자연어 처리와 컴퓨터 언어학 file 깊은바다 2019-12-30 533
한국어 임베딩 file 깊은바다 2019-12-11 583
에이트 - 인공지능에게 대체되지 않는 나를 만드는 법 file 깊은바다 2019-12-10 260
안녕, 인간 file 깊은바다 2019-11-10 286
머신러닝 실무 프로젝트 file 깊은바다 2019-10-18 919
음성 사용자 인터페이스 디자인 file 깊은바다 2019-09-29 223
알파고를 분석하며 배우는 인공지능 file 깊은바다 2019-09-22 348
보이스봇 챗봇 디자인 file 깊은바다 2019-09-13 333
밑바닥부터 시작하는 딥러닝 2 file [2] 깊은바다 2019-09-07 498
영어학습을 위한 인공지능 챗봇 활용 및 제작 file 깊은바다 2019-08-12 336
파이썬을 이용한 머신러닝, 딥러닝 실전 앱 개발 file [2] 깊은바다 2019-08-12 576
만화로 쉽게 배우는 회귀분석 file 깊은바다 2019-08-05 418
인공지능을 위한 수학 file 깊은바다 2019-07-29 766